信息论小结(一)

在传输过程中允许一定程度的失真

错误概率还与编码规则译码规则有关

译码规则即找最大的后验概率,进行计算出正确概率

随后Pe=1-ΣP[F(yj)|yj]*p(yj),得出错误概率

也可简便计算,直接计算其联合概率,进行求和即可

仅仅考虑编码译码规则,对其准确性影响有限,关键还得看其运算函数

说明:由于信道特性用转移概率p(y|x)来描述,确定后验概率p(x|y)较麻烦,所以引入极大似然译码规则

极大似然译码规则,要注意满足输入等概

费诺不等式(Fano不等式)

可以选择合适的编码方法来降低错误概率

简单重复编码,重复多次进行编码,使信道符号变成信道码字进行传输

采用“择多译码”的译码规则,根据符号较多的来确定

采用简单重复编码,如进一步增大重复次数n,则会继续降低平均错误概率

重复编码次数n增大,平均错误概率Pe下降的同时,信息传输率R要减少

 

M:表示简单重复编码后的新信源符号个数,n:表示码长(即重复次数)。

R:表示M个信源符号(简单重复编码后的新信源符号),每个符号所携带的最大信息量为logM,现用n个码符号来传输,平均每个码符号所携带的信息量为R。

ps:简单重复编码减小平均错误概率,是以降低信息传输率R为代价的n↑, Pe↓,R↓

香农第二定理:找到一种编码,使平均错误概率充分小,而信息传输率R又保持一定的水平

猜你喜欢

转载自blog.csdn.net/yyfloveqcw/article/details/124336530