Table of Contents

香农第三定理（保失真度准则下的有失真信源编码定理）

何为香农定理

奈奎斯特定理

扫描二维码关注公众号，回复： 9359136 查看本文章

3．数字信号使用模拟信道传送

4．数字信号使用数字信道传送

参考

香农三大定理

香农第一定理：可变长无失真信源编码定理。采用无失真最佳信源编码可使得用于每个信源符号的编码位数尽可能地小，但它的极限是原始信源的熵值。超过了这一极限就不可能实现无失真的译码。
香农第二定理：有噪信道编码定理。当信道的信息传输率不超过信道容量时，采用合适的信道编码方法可以实现任意高的传输可靠性，但若信息传输率超过了信道容量，就不可能实现可靠的传输。
香农第三定理：保真度准则下的信源编码定理，或称有损信源编码定理。只要码长足够长，总可以找到一种信源编码，使编码后的信息传输率略大于率失真函数，而码的平均失真度不大于给定的允许失真度，即D’<=D

香农第一定理(可变长无失真信源编码定理)

设离散无记忆信源X包含N个符号{x1,x2,…,xi,…,xN}，信源发出K重符号序列，则此信源可发出N^k个不同的符号序列消息，其中第j个符号序列消息的出现概率为PKj，其信源编码后所得的二进制代码组长度为Bj，代码组的平均长度B为

B=PK1B1+PK2B2+…+PKN^k BN^k

当K趋于无限大时，B和信息量H(X)之间的关系为B/k=H(X)(K趋近无穷）

信源编码定理表明（在极限情况下，随着独立同分布随机变量数据流的长度趋于无穷）不可能把数据压缩得码率（每个符号的比特的平均数）比信源的香农熵还小，不满足的几乎可以肯定，信息将丢失。但是有可能使码率任意接近香农熵，且损失的概率极小。

香农第一定理的意义：将原始信源符号转化为新的码符号，使码符号尽量服从等概分布，从而每个码符号所携带的信息量达到最大，进而可以用尽量少的码符号传输信源信息。

香农第二定理（有噪信道编码定理）

有噪信道编码定理。当信道的信息传输率不超过信道容量时，采用合适的信道编码方法可以实现任意高的传输可靠性，但若信息传输率超过了信道容量，就不可能实现可靠的传输。
设某信道有r个输入符号，s个输出符号，信道容量为C，当信道的信息传输率R<C，码长N足够长时，总可以在输入的集合中(含有r^N个长度为N的码符号序列)，找到M （(M<=2^(N(C-a)))，a为任意小的正数)个码字，分别代表M个等可能性的消息，组成一个码以及相应的译码规则,使信道输出端的最小平均错误译码概率Pmin达到任意小。

公式：

注：B为信道带宽；S/N为信噪比，通常用分贝（dB）表示。

香农第三定理（保失真度准则下的有失真信源编码定理）

保真度准则下的信源编码定理，或称有损信源编码定理。只要码长足够长，总可以找到一种信源编码，使编码后的信息传输率略大于率失真函数，而码的平均失真度不大于给定的允许失真度，即D’<=D.设R(D)为一离散无记忆信源的信息率失真函数，并且选定有限的失真函数，对于任意允许平均失真度D>=0，和任意小的a>0，以及任意足够长的码长N，则一定存在一种信源编码W，其码字个数为M<=EXP{N[R(D)+a]}，而编码后码的平均失真度D’(W)<=D+a。

第一定理信源编码定理，是解决通信中信源的压缩问题，也是后来图像和视频压缩的基本定理；

第二定理信道编码定理，是解决通信中数据能够在特定信道中传输的最大值的问题，即最大数据速率小于信道容量，容量问题是通信中研究最活跃的问题之一，比如4G或LTE中广泛用到的MIMO（多输入多输出，或多天线）技术，其理论本质是DavidTse提出的该容量与天线数成线性递增的关系（这句话是概述，我凭印象写的）；

第三定理有损信源编码定理解决了在允许一定失真的情况下的信源编码问题，比如jpeg图像编码，mp3音频编码，都是有损的编码，其都是在香农第三定理的界之下得出的；

何为香农定理

信息论有许多重要定理，今天我们来说一下其中著名的香农定理：

其中：C是信道支持的最大速度或者叫信道容量，B是信道的带宽，S是平均信号功率，N是平均噪声功率，S/N即信噪比。

当信道的信息传输率不超过信道容量时，采用合适的信道编码方法可以实现任意高的传输可靠性，但若信息传输率超过了信道容量，就不可能实现可靠的传输。

为了直观理解，可以做如下类比：城市道路上的汽车的车速和什么有关系？除了和自己车的动力有关之外，主要还受限于道路的宽度（带宽）和车辆多少、红灯疏密等其他干扰因素（信噪比）。

事实上，香农最初的动机是把电话中的噪音除掉，他给出通信速率的上限，这个结论首先用在电话上，后来用到光纤以及无线通信上。我们能够清晰地打越洋电话或卫星电话，都与通信信道质量的改善密切相关。没有香农定理，估计就没有今天便捷优质的通信。

克劳德·埃尔伍德·香农(1916-2001），美国数学家，电子工程师，密码学家，一位集美貌与才华于一身的奇男子。

看见香农大师的第一个感受就是，帅，估计不少女同学在流口水，但香农大帅哥绝不是一个仅有颜值的绣花枕头，而是拥有如同开挂一般的人生。例如，他8岁的时候，帮忙在读大学的姐姐做高数作业，而且全对，这你能想象吗？

20世纪初期，随着电报、电话、电视、无线电等的发展，如何计量信号中信息量的问题被隐约地提上日程。这位22岁时就写出“可能是20世纪最重要、最著名的一篇硕士论文”的香农当然不会放过展示自己天赋的机会。在《通讯的数学原理》（1948年）、《噪声下的通信》（1949年）这两篇论文中，香农给出了通信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。这两篇论文成为了信息论的奠基性著作，前面所提及的香农定理就是其中的一个重要结论。

在他的通信数学模型中，清楚地提出信息的度量问题，得到另一个著名的公式——信息熵：

如果计算中的对数log是以2为底的，那么计算出来的信息熵就以比特（bit）为单位。今天在计算机和通信中广泛使用的字节(Byte）、KB、MB、GB等词都是从比特演化而来。“比特”的出现标志着人类知道了如何计量信息量。

香农在1943年与英国数学家图灵（A. Turing）（另一位帅哥）有过交集。当时图灵正在美国访学，但却各事其主。他们各自具体的工作都涉及到军方机密，因此均守口如瓶。那时他们二人均在从事密码分析工作，但目标却相反。图灵要对付如何破译德军的密码，以避免德军的U型潜艇对英国商船的袭击。而香农的工作则是探究X系统的工作，以确保罗斯福和丘吉尔办公室之间的语音通话不被窃听。一个是破译通信密码，一个是加密通信内容。虽然方向不同，但是他们对密码学的影响都是非常深远的。

1945年，香农完成了“密码术的数学理论”的保密报告。这篇论文为对称密码系统的研究建立了一套数学理论，从此密码术变成为密码学，由一门艺术或技艺变成一门真正的科学。

奈奎斯特定理

工程师都会考虑一个问题：信道上到底可以传输多大的数据，或者指定的信道上的极限传输率是多少。这就是信道容量的问题。例如，在xDSL系统中，我们使用的传输介质是仅有几兆带宽的电话线，而上面要传送几兆、十几兆甚至几十兆带宽的数据，如此高的速率能保证在几兆带宽的双绞线上可靠传输吗？或者说从另一个角度说，在给定通频带宽(Hz)的物理信道上，到底可以有多高的数据速率(b/S)来可靠传送信息？

早在1924年，AT&T的工程师奈奎斯特（Henry Nyquist）就认识到在任何信道中，码元传输的速率都是有上限的，并推导出一个计算公式，用来推算无噪声的、有限带宽信道的最大数据传输速率，这就是今天的奈奎斯特定理。由于这个定理只局限在无噪声的环境下计算信道最大数据传输速率，而在有噪声的环境下仍然不能有效计算出信道最大数据传输速率，因此在 1948年，香农（Claude Shannon）把奈奎斯特的工作进一步扩展到了信道受到随机噪声干扰的情况，即在有随机噪声干扰的情况计算信道最大数据传输速率，这就是今天的香农定理。下面分别介绍这两个定理。

奈奎斯特证明，对于一个带宽为W赫兹的理想信道，其最大码元（信号）速率为2W波特。这一限制是由于存在码间干扰。如果被传输的信号包含了M个状态值（信号的状态数是M），那么W赫兹信道所能承载的最大数据传输速率（信道容量）是：

C =2×W×log2M（bps）

PS：波特率表示每秒钟传送的码元符号的个数，是衡量数据传送速率的指标，它用单位时间内载波调制状态改变的次数来表示。在信息传输通道中，携带数据信息的信号单元叫码元，每秒钟通过信道传输的码元数称为码元传输速率，简称波特率。波特率是传输通道频宽的指标。

假设带宽为W赫兹信道中传输的信号是二进制信号（即信道中只有两种物理信号），那么该信号所能承载的最大数据传输速率是2Wbps。例如，使用带宽为3KHz的话音信道通过调制解调器来传输数字数据，根据奈奎斯特定理，发送端每秒最多只能发送2×3000个码元。如果信号的状态数为2，则每个信号可以携带1个比特信息，那么话音信道的最大数据传输速率是6Kbps；如果信号的状态数是4，则每个信号可以携带2个比特信息，那么话音信道的最大数据传输速率是12Kbps。

因此对于给定的信道带宽，可以通过增加不同信号单元的个数来提高数据传输速率。然而这样会增加接收端的负担，因为，接收端每接收一个码元，它不再只是从两个可能的信号取值中区分一个，而是必须从M个可能的信号中区分一个。传输介质上的噪声将会限制M的实际取值。

信源与信宿

信源与信宿是网络中的两个专业名词，其实，信源与信宿可简单地理解为信息的发送者和信息的接收者。信息传播的过程一般可描述为：信源→信道→信宿。在传统的信息传播过程中，对信源的资格有严格的限制，通常是指广播电台、电视台等机构，采用的是有中心的结构。而在计算机网络中，对信源的资格并无特殊限制，任何一个网络中的计算机都可以成为信源，当然任何一个网络中计算机也可以成为信宿。

编码与调制

由于传输介质及其格式的限制，通信双方的信号不能直接进行传送，必须通过一定的方式处理之后，使之能够适合传输媒体特性，才能够正确无误地传送到目的地。

调制是指用模拟信号承载数字或模拟数据；
编码则是指用数字信号承载数字或模拟数据。

目前存在的传输通道主要有模拟信道和数字信道两种，其中模拟信道一般只用于传输模拟信号，而数字信道一般只用于传输数字信号。有时为了需要，也可能需要用数字信道传输模拟信号，或用模拟信道传输数字信号，此时，我们就需要先对传输的数据进行转换，转换为信道能传送的数据类型，即模拟信号与数字信号的转换，这是编码与调制的主要内容。当然模拟数据、数字数据如何通过通道发送的问题也是编码与调制的重要内容。下面我们分别从模拟信号使用模拟信道传送、模拟信号使用数字信道传送、数字信号使用模拟信道传送和数字信号使用数字信道传送四个方面来介绍数据的调制与编码。

1．模拟信号使用模拟信道传送

有时候模拟数据可以在模拟信道上直接传送，但在网络数据传送中这并不常用，人们仍然会将模拟数据调制出来，然后再通过模拟信道发送。调制的目的是将模拟信号调制到高频载波信号上以便于远距离传输。目前，存在的调制方式主要有调幅（Amplitude Modulation，AM）、调频（Frequency Modulation，FM）及调相（Phase Modulation，PM）。

2．模拟信号使用数字信道传送

使模拟信号在数字信道上传送，首先要将模拟信号转换为数字信号，这个转换的过程就是数字化的过程，数字化的过程主要包括采样和量化两步。常见的将模拟信号编码到数字信道传送的方法主要有：脉冲幅度调制（Pulse Amplitude Modulation，PAM）、脉冲编码调制（Pulse Code Modulation，PCM）、差分脉冲编码调制（Differential PCM，DPCM）和增量脉码调制方式（Delta Modulation，DM）。

3．数字信号使用模拟信道传送

将数字信号使用模拟信道传送的过程是一个调制的过程，它是一个将数字信号（二进制0或1）表示的数字数据来改变模拟信号特征的过程，即将二进制数据调制到模拟信号上来的过程。

一个正弦波可以通过3个特性进行定义：振幅、频率和相位。当我们改变其中任何一个特性时，就有了波的另一个形式。如果用原来的波表示二进制1，那么波的变形就可以表示二进制0；反之亦然。波的3个特性中的任意一个都可以用这种方式改变，从而使我们至少有3种将数字数据调制到模拟信号的机制：幅移键控法 （Amplitude-Shift Keying，ASK）、频移键控法（Frequency-Shift Keying，FSK）以及相移键控法（Phase-Shift Keying，PSK）。

另外，还有一种将振幅和相位变化结合起来的机制叫正交调幅（Quadrature Amplitude Modulation，QAM）。其中正交调幅的效率最高，也是现在所有的调制解调器中经常采用的技术。

4．数字信号使用数字信道传送

要是数字信号在数字信道上传送，需要对数字信号先进行编码。例如，当数据从计算机传输到打印机时，一般是采用这种方式。在这种方式下，首先须进行对数字信号编码，即由计算机产生的二进制0和1数字信号被转换成一串可以在导线上传输的电压脉冲。对信源进行编码可以降低数据率，提高信息量效率，对信道进行编码可以提高系统的抗干扰能力。

目前，常见的数据编码方式主要有不归零码、曼彻斯特编码和差分曼彻斯特编码三种。

（1）不归零码（NRZ，Non-Return to Zero）：二进制数字0、1分别用两种电平来表示，常用-5V表示1，+5V表示0。缺点是存在直流分量，传输中不能使用变压器；不具备自同步机制，传输时必须使用外同步。
（2）曼彻斯特编码（Manchester Code）：用电压的变化表示0和1，规定在每个码元的中间发生跳变。高→低的跳变代表0，低→高的跳变代表1（注意：某种教程中关于此部分内容有相反的描述，也是正确的）。每个码元中间都要发生跳变，接收端可将此变化提取出来，作为同步信号。这种编码也称为自同步码（Self- Synchronizing Code）。其缺点是需要双倍的传输带宽（即信号速率是数据速率的2倍）。
（3）差分曼彻斯特编码：每个码元的中间仍要发生跳变，用码元开始处有无跳变来表示0和1。有跳变代表0，无跳变代表1（注意：某种教程中关于此部分内容有相反的描述，也是正确的）。