摘要：信息是自从人类出现以来就存在于这个世界上了，天地万物，飞禽走兽，以及人类的生存方式都离不开信息的产生和传播。人类每时每刻都在不停的接受信息，传播信息，以及利用信息。从原来的西汉时期的造纸，到近代西方的印刷术，以及现在的计算机，信息技术在人类历史的进程当中随着生产力的进步而发展。而信息理论的提出却远远落后于信息的出现，它是在近代才被提出来而形成一套完整的理论体系。信息论的主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信息熵；有记忆、无记忆离散和连续信道的信道容量；无失真信源编码定理。
关键字： 平均自信息 信道容量 信源编码 霍夫曼码
Abstract：Since the human being come out, the information has been existence in the world. The universe, birds and beasts, and the live style of the mankind all can’t live out of the production and transmission of the information. The human being receives the massage, transmits the information and uses the information all the time. From the papermaking in the Western Han Dynasty to the printing of the west, and the computer now, the information technology in human history developed with the productive forces. But Information Theory’s appearance is far behind the emergence of the information. It is raised in modern times and formed a complete theoretical system. The main basic theory of information includes: the definition and measurement of information; the all kinds of discrete and continuous source of information entropy; channel capacity of memorial, memory of discrete and continuous channels; lossless source coding theorem.
Key word: The average self-information Channel capacity Source Coding Huffman code
目录
一．绪论 3
二．信息的度量 4
三．平均互信息 6
四．连续信道 9
五．无失真信源编码 10
六．结束语 12
参考文献 13
香农信息论的基本理论探究
一．绪论
信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香农在他1948年的著名论文《通信的数学理论》所定义的，它为信息论奠定了理论基础。后来其他科学家，如哈特莱、维纳、朗格等人又对信息理论作出了更加深入的探讨。使得信息论到现在形成了一套比较完整的理论体系。
信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。
信息不同于消息、信号、情报、知识等概念。信息论所包含的含义比其他几种理论概念更加广泛，更具有概括性。情报是军事学、文献学方面的术语。情报的定义是对某个特定的对象所见、所闻、所理解而产生的知识，情报的含义要比“信息”窄得多。消息是用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主管思维活动的状态表达出来的就成为“消息”。所以信息也不同于消息。
香农对信息所作的科学的定义是在通信系统框架的基础上产生的。在香农看来，在通信系统的传输过程当中，收信者在收到消息以前是不知道消息的具体内容的。在收到消息以前，收信者无法判断发送者将会发来描述何种事物运动状态的的具体消息，它也无法判断是描述这种状态还是那种状态。或者，由于干扰的存在，它也不能断定所得到的消息是否正确和可靠。这样，收信者存在“不知”，“不确定性”。那么通过消息的传递，收信者知道了消息的具体内容，原先的不确定性就部分的或者全部消除了。因此，信息传输之后，对于收信者来讲，减少了很多的不确定性和疑义度。所以，通信过程是一种消除不确定性的过程。不确定性的消除，就获得了信息。如果原先的不确定性全部消除了，就获得了全部的信息；若消除了部分的不确定性，就获得了部分的信息；若原来的不确定性没有任何的消除，就没有获得任何信息；所以，香农所定义的信息是事物运动状态或存在方式的不确定性的描述。
以下我从信息论的几个主要基础理论来阐述下信息论。
二．信息的度量
通过以上信息的定义的描述，信息这一概念是比较抽象的，它不像通常的长度，重量等概念，有一个比较直观的印象，信息必须要有一个比较容易用来分析的度量的数学工具。这样才方便人们能够更好的认识和理解他，所以，香农在他的论文里面，对信息的度量给出了严格的数学定义。
在各种通信系统的信源当中，离散随机信源是一类最基本的信源，信源输出是单个的符号的消息，并且消息之间是两两互不相容的。假设有个一维离散无记忆信源，它的概率分布函数决定了他所携带的信息。该信源空间中共有q个符号，每个符号发生的概率是Pi,那么发出某个符号所携带的信息量是-logPi ,由于概率是在0和1之间的，使得每一事件的信息量是非负的。如果该事件发生的概率是0，或者是1，则表明该事件一定不会发生或者一定会发生。那么他所携带的信息量是0。从理论上讲，该事件发生的概率越小，那么它的不确定性也就越大，它所携带的信息量也就越大。该事件发生的概率越大，它所携带的信息量也就越大。这也是人们为什么一听到一件不可思议的事情发生了之后，会感到非常惊讶的原因。
对于通信系统的信源来说，它不会仅仅只发出一个消息，这个消息发生的概率也不是1。必然会有别的可能的情况发生。那么对于一个信源来讲，它所包含的信息量是什么样子的，我们可以用平均自信息量来度量，即对每个事件各自所携带的信息量做一个加权平均。即可以得到信源的平均自信息量。
信息熵的定义如下：
平均自信息量也称为信息熵。信息熵是从平均意义上来表征信源的总体信息测度的。对于某特定的信源，它的信息熵是一个确定的数值。不同的信源因为其概率分布不同，它的熵也不同。
信息熵具有一些基本的性质，比如，对称性，确定性，非负性，扩展性，可加性等等。这里面有一个最大离散熵定理，表明:离散信源情况下，对于具有q个符号的离散信源，只有在q个信源符号等可能出现的情况下，信源熵才能达到最大值，这样也表明等概率分布信源的平均不确定性为最大。这个定理为我们后面研究有噪信道编码定理提供了有力的依据。
离散平稳信源是一种非常重要的信源模型。如果不同时刻信源输出符号的概率分布完全相同，则称为一维离散平稳信源。一维离散平稳信源无论在什么时候均按P(X)的概率分布输出符号。最简单的离散平稳信源就是二维离散平稳信源。二维离散平稳信源就是信源输出的随机序列…，X1,X2,…,Xi，…，满足其一维和二维概率分布与时间起点无关。二维离散平稳信源的联合熵
此联合熵表明原来信源X输出任意一对可能的消息的共熵，即描述信源X输出长度为2的序列的平均不确定性，或者说所含有的信息量。可以用作为二维离散平稳信源X的信息熵的近视值。
除了平稳离散信源之外，还存在着非平稳离散信源。在非平稳离散信源中有一类特殊的信源。这种信源输出的符号序列中符号之间的依赖关系是有限的，这种关系满足我们在随机过程中讲到的马尔可夫链的性质，因此可用马尔可夫链来处理。马尔可夫信源是一种非常重要的非平稳离散信源。那么马尔可夫信源需要满足一下两个条件：
（1） 某一时刻信源符号的输出只与此刻信源所出的状态有关，而与以前的状态及以前的输出符号都无关。
（2） 信源某时刻所处的状态由当前的输出符号和前一时刻（-1）信源的状态唯一决定。
马尔可夫信源的输出的符号是非平稳的随机序列，它们的各维概率分布随时间的推移可能会改变。第时间信源输出什么符号，不但与前一（-1）时刻信源所处的状态和所输出的符号有关，而且一直延续到与信源初始所处的状态和所输出的符号有关。一般马尔可夫信源的信息熵是其平均符号熵的极限值，它的表达式就是：
.
三．平均互信息
前一部分简要描述了一下离散信源的主要度量方式。现在来讨论离散信道及其信道容量。信道的任务是以信号方式传输信息和存储信息的。我们知道信源输出的是携带着信息的消息。消息必须要转换成能在信道中传输或存储的信号，然后通过信道传送到收信者。并且认为噪声或干扰主要从信道中引入。信道根据用户的多少，可以分为两端信道，多端信道。
根据信道输入端和输出端的关联，可以分为无反馈信道，反馈信道。根据信道的参数与时间的关系信道可以分为固定参数信道，时变参数信道。根据输入和输出信号的统计特性可以分为离散信道，连续信道，半离散或半连续信道和波形信道。
为了能够引入平均互信息量的定义，首先要看一下单符号离散信道的数学模型，在这种信道中，输出变量和输入变量的传递概率关系：
传递概率所表达的意思是，在信道当输入符号为，信道的输出端收到的概率。
我们知道，信道输入信源X的熵是表明接收端收到符号之前信源的平均不确定性，可以称为先验熵。如果信道中无干扰噪声，信道输出符号与输出符号一一对应，那么，接受到传送过来的符号就消除了对发送符号的先验不确定性。但是我们实际的生活中一般信道中有干扰存在，接收到输出后对发送的是什么符号仍有不确定性。表示在输出端收到输出变量Y 的符号后，对于输入端的变量X尚存在的平均不确定性。即信道疑义度：
这个信道的疑义度是由于干扰噪声引起的。前面我们看到了输出端接收到输出符号前关于变量X的先验熵，以及接收到输出符号后关于输入变量X 的平均不确定性，通过信道传输消除了一定的不确定性，获得了一定的信息。那么定义单符号信道的平均互信息量
平均互信息是表示了收到输出Y的前，后关于X的不确定性的消除量，就是在接到了输出符号之后，对输入端输入什么符号得到了更多的信息。平均互信息量具有一些基本的特征：第一点，非负性。我们通过一个信道获得的平均信息量不会是负值。也就是说，观察一个信道的输出，从平均的角度来看总能消除一些不确定性，接收到一定的信息。除非信道输入和输出是统计独立时，才接收不到任何信息。因为在这样的统计独立信道中，传输的信息全部损失在信道中，以致没有任何信息传输到终端，但也不会失去已经知道了的信息。第二，平均互信息量的大小不大于输入输出任一者的信息熵。即从一事件提取关于另一事件的信息量，最多只有另一事件的信息熵那么多，不会超过该事件自身所含有的信息量。第三点是平均互信息的交互性。第四，平均互信息的凸状性，平均互信息只与信源的概率分布和信道的传递有关，因此对于不同信源和不同信道得到的平均互信息是不同的。当固定某信道时，选择不同的信源与信道连接，在信道输出端接收到每个符号后获得的信息量是不同的。而且对于每一个固定信道，一定存在有一种信源，是输出端获得的信息量为最大。
后来，我们学习到信道容量的一般计算方法。其中最重要的是对称离散信道的信道容量的计算。信道矩阵中每一行和每一列分别由同一概率分布集中的元素不同排列组成的，这就是对称离散信道。计算对称离散信道的信道容量公式是：
其中，等号右边的第一项是输出符号的最大信息熵，第二项是信道矩阵分布行矢量的熵函数。比方说，前面提到的，二元对称信道的信道容量就是
除了前面论述到得单符号离散信道之外，还有独立并联信道和串联信道。一般的独立并联信道如下：
独立并联信道的信道容量不大于各个信道的信道容量之和，只有当输入符号相互独立，且输入符号的概率分布达到各信道容量的最佳输入分布时，独立并联信道的信道容量才等于个信道容量之和。
串联信道是一种比较常见的信道模型，比如微波中继竭力通信就是一种串联信道，还有，在信道输出端对接受到的信号或数据进行适当的处理，这种处理称为数据处理。数据处理系统一般可以单程是一种信道，它和前面传输数据的信道是串接的关系。串联信道中X、Y、Z有如下关系：
对于串接信道X、Y、Z有
当且仅当P(z|xy)=P(z|y)时，等式成立。
串联信道的信道容量与串接的信道数有关，串接的无源数据处理信道越多，其信道容量可能会越小，当串接信道数无限大时，信道容量就有可能接近零。
四．连续信道
前面讲到的离散信道其输出的消息是属于时间离散、取值有限或可数的随机序列，其统计特性可以用联合概率分布来描述。但是语音信号，电视信号都是连续波形信号。在某一固定的时刻，这样的可能输出即是连续的又是随机的，我们称之为随机波形信源。它是用随机过程描述输出消息的信源。用连续随机变量描述输出消息的信源就是连续信源。
连续信源的熵的表达式如下：
我们可以看到，连续信源的熵的定义与离散信源熵的定义方式一样，只不过离散情况下是每个信源符号的信息量的加权平均，而连续信源的熵也是某一时刻信源输出为某值的期望值。连续信源也可以称之为差熵。接下来由两种特殊连续信源的差熵需要计算。均匀分布连续信源的熵值，和高斯信源的熵值。
连续信源的差熵具有以下的一些基本性质：可加性，上凸性，可负性，变换性，极值性。在不同的情况下，连续信源中的差熵具有极大值，有下面两种情况下连续信道存在最大的差熵：
（1）峰值功率受限条件下信源的最大熵。若信源输出的幅度被限定在区域内，则当输出信号的概率密度是均匀分布时，这个时候信源具有最大熵，为。
（2）平均功率受限条件下信源的最大熵。若一个连续信源输出的平均功率被限定为P，那么其输出信号幅度的概率密度分布时高斯分布时，信源有最大的熵，为。也就是说，当连续信源输出信号的平均功率受限时，只有信号的统计特性与高斯噪声统计特性一样时，才会有最大的熵值。
和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输率，称之为信道容量。它是信道可靠传输的最大信息传输率。对于不同的连续信道和波形信道，它们存在的噪声形式不同，信道带宽及对信号的各种限制不同，所以具有不同的信道容量。我们先来讨论单符号高斯加性信道的信道容量，单符号高斯加性信道是指信道的输入和输出都是取值连续的一维随机变量，而加入信道的噪声是一维高斯加性噪声。它的信道容量表达式为：
其中，是输入信号X的平均功率，是高斯噪声的平均功率。只有当信道的输入信号是均值为零，平均功率为高斯分布的随机变量时。信息传输率才能达到这个最大值。
注水定理是对于多维无记忆高斯加性连续信道的个信道功率分配问题而提出来的，对于多维的情况，因为输入的是平稳随机序列，输出的也是平稳随机序列，我们可以将它等价为N个独立并联加性信道。假如各单元时刻上的噪声仍是均值为零，方差为不同的的高斯噪声，单输入信号的总体平均功率受限，此时我们可以使用拉格朗日乘子法莱确定平均功率的分配。当N个独立并联的组合高斯加性信道，各分信道的噪声平均功率不相等时，为了达到最大的信息传输率，要对输入信号的总能量适当地进行分配。如果该信道分得的平均功率小于次信道的噪声功率，那么就不能分配能量，使之不传送任何信息；如果信道分得的平均功率要大于信道的噪声功率，就在这些信道上分配能量，使，这样得到的信道容量为最大。我们总是希望在噪声大的信道少传送或甚至不传送信息，而在噪声小的信道多传送些信息。
五．无失真信源编码
在这一章里面，我们学习了信源编码中需要遵循的几个重要定理。
1.编码，是将输入信源中需要传递的符号用更加适合信道传输的码符号序列来表示。如果要实现无失真编码，必须这种映射是一一对应的、可逆的。这种码就是唯一可译码，唯一可译码的任意一串有限长的码符号序列只能被唯一地译成所对应的信源符号序列，如果要所编的码是唯一可译码，不但要求编码时不同的信源符号变换成不同的码字，而且还必须要求任意有限长的信源序列所对应的码符号序列各不相同，也就是要求码的任意有限长N次扩展码都是非奇异码。因为只有任意有限长的信源序列所对应的码符号序列各不相同，才能把该码符号序列唯一地分割成一个个对应的信源符号，从而实现唯一的译码。
若要对信源S进行等长编码，则必须满足信源符号数不大于码元数的码长次方；如果是信源的N 次扩展进行等长编码，则必须满足下面的不等式：
.
2等长信源编码定理
一个熵为H(S)的离散无记忆信源，若对信源长为N的符号序列进行等长编码，设码字是从个字母的码符号集中，选取个码元组成。对于任意，只要满足
则当N足够大时，可实现几乎无失真编码，即译码错误概率能为任意小。反之，若
则不可能实现无失真编码，而当N足够大时，译码错误概率近似等于1.
等长编码定理告诉我们：只要码字传输的信息量大于信源序列携带的信息量，总可以实现几乎无失真编码。
3.变长码
变长码的产生式在信道容量有限的情况下，希望用较短的码就可以编出效率很高而且无失真的码。变长码必须是唯一可译码，才能实现无失真编码。在唯一可译变长码中，有一类码，它在译码时无须参考后续的码符号就能立即做出判断，译成对应的信源符号，它就是即时码。即时码的充要条件是没有任何完整的码字是其他码字的前缀。即时码可以由树图法来构造。判断即时码的充要条件就是克拉夫特不等式，即
如果码长满足此不等式，则一定存在具有这样码长的元即时码。
4.霍夫曼码
霍夫曼码是一种最佳码，它适用于多元独立信源，充分利用了信源概率分布的特性进行编码。通过霍夫曼编码所得到的码并不是唯一的。这是由于在编码过程中，缩减合并后的符号的概率与其他信源符号概率相同时，将新生成的概率放在上面和放在下面所得到得码是不一样的。
元霍夫曼码和二元霍夫曼码的编码方法基本相同，只需要让信源最初的符号个数满足
其中，表示缩减的次数，是每次缩减所减少的信源符号个数。
六．结束语
信息论是一门非常系统和理论性很强的学科，它涉及到随机过程，概率论与数理统计，线性代数等多门学科。经过一个学期的学习，在陈老师的细心指导下，我们对信息论这们课的主要理论有了比较深刻的认识，对其中所提到的香农三大定理也由原来的一知半解到现在的融会贯通。这对以后研究通信系统的改进方案奠定了坚实的理论基础。
陈老师在上课过程中曾经多次提到过对香农信息论的局限性。香农信息论在对离散信源的平均信息量等问题解释的还是比较的全面和真实，但是对连续信源来说，有它不足的地方。在现代信息论发展的过程中曾有过许多这方面的专家和学者试图构造另一种较香农信息论更好的理论来描述连续信源。但是，直到现在为止，所提出来的诸多方案中，没有一个是优于香农的。这就是说，信息论的理论体系还有待人们去完善和充实它。所以陈老师也寄希望我们能够在这片领域里能够有所发现，弥补香农信息论的缺陷。
我相信，凭着我们这样一批朝气蓬勃的年轻人的敢想，敢为，敢拼的进去精神，和陈老师对我们的殷切期望，一定会有有志之士沿着那些科学泰斗们没有走完的道路，继续前进！
参考文献
【1】傅祖芸﹒信息论——基础理论与应用（第二版）﹒北京：电子工业出版社，2008
【2】傅祖芸﹒信息论与编码学习辅导及习题详解﹒北京：电子工业出版社，2004
【3】周炯磐，丁晓明﹒信源编码原理﹒北京：人民邮电出版社，1996
【4】张宗橙﹒纠错编码原理和应用﹒北京：电子工业出版社，2003