国科大2018级信息论考试复习

本次信息论考试本人复习一周左右,考试题目略有难度,不过已足以应对,到目前为止没发现有题目做错,大概将我的复习计划以及考试题目的回忆记录如下:

第二章-熵、相对熵、互信息的认识,此章重点关注互信息的链式法则,本次考题第一题为该内容,题目内容大致是:

给定三个变量X、Y、Z相互之间独立,且服从伯努利二项分布(1/2)求H(X,Y,Z)的最小值;并举出相应的例子;(ps:答案为2)

课后习题有类似的题,复习的时候记得看懂课后习题;当然最基本的熵、互信息的计算是必备技能,后续也会用到;

第三章-渐进均分性,此章内容较少,只需要知道典型集及其性质即可,貌似不会考;

第四章-随机过程的熵率,此章必考一阶马尔科夫模型的平稳分布,出题方式有两种,一种是直接给定状态转移概率矩阵,另一种为给定一加权图,通过计算每个节点的入度与出度来求得状态转移矩阵,我们这次是后者,这章对理解PageRank算法有很大的帮助。求得平稳分布,还需要会求熵率H(X_2|X_{1});

第五章-数据压缩,对于Kraft不等式尽量理解,当然没时间的话可以只看Huffman编码,搞清楚Huffman编码怎么编,编码效率怎么计算,注意是熵/平均码长,还需要注意D进制;算数编码的话13章会再学习,这里不做要求;

第七章-信道容量,掌握信道容量怎么计算,需要手动推出几种常见信道的信道容量,我们的最后一题为计算信道容量,一个信道为串联的两个BSC;另一个信道为两个BSC间加一个编码器;其他内容大概了解;

第八章-微分熵,主要是掌握微分熵的计算,尤其是高斯分布的微分熵,最好手推几遍,最不济也要背的很熟,经常用到;

第九章-高斯信道,很重要,考了关于并联高斯信道的信道容量计算和带宽有限高斯信道容量,比较偏,所以这章内容建议全面掌握。

第十章-率失真函数,每年都差不多,一道大题,计算D_{max}D_{min},然后计算R(D),这里需要掌握费诺不等式。还有需要知道试验信道转移概率矩阵。

第十二章-感觉并没有考到,内容的话掌握最大熵的意义,以及连续最大是高斯分布,离散最大是均匀分布即可,会计算一阶Yull-Walker方程即可。

第十三章-也没有考到,内容的话掌握课后六道题就行,会计算最小最大冗余度,编码分布,算数编码,LZ77、78编码自己编一下。

大概就是上面这些内容了,大概掌握了这些内容就可以安心考试了。

猜你喜欢

转载自blog.csdn.net/csdnxxm/article/details/85335930