作者：Venceslas
链接：https://www.zhihu.com/question/67066372/answer/251430955
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
严格的证明请参考Tomas M.Cover的Elements of Information Theory中定理7.7.1信道编码定理的证明。
为了说明，我们首先引入典型集（typical set）的概念。典型集是对于i.i.d序列X^n, 满足下列概率关系：
的序列的集合。可以从上式看出当\epsilon趋于零时，其概率趋于相同。并且由大数定理可知，我们任取序列，取到典型集中序列的概率为：
即我们从所有可能性序列中取序列，总以趋于1的概率取到典型集中的序列。并且可以知典型集中序列的个数为 。
下面我们说明为何信道容量可以由互信息量来表示。对离散无记忆信道，发送序列为 ，服从i.i.d X~P(X)，我们只考虑典型集中的序列（因为任取序列，取到典型集中序列的概率趋于1），即发送序列的集合的大小为
。类似的在接收端我们根据发送序列产生接收序列服从条件分布P(Y|X)，根据此分布对应的典型集大小为
。而只根据
分布产生的典型集大小为
。为了能够根据接收端序列来恢复发送端序列，我们要求任意两个发送序列不能产生相同的输出序列，否则我们无法从接收序列恢复发送序列。即任意两个发送序列对应的接收序列集合不能重叠，这样我们最多容许
个序列通过信道。这就简要的说明了为何可以用互信息量来表示信道容量。
注解：个发送端序列，每个发送端的序列对应接收端最多
种序列，如下图，一对多。对于无噪信道，
，
，发送端序列与接收端序列一一对应
在Cover的信息论基础里比我说的要明白很多，关键是理解并接受典型集的概念。如果上述说明还不是很明白，你可以看一下AWGN信道下信道容量的说明(填球模型，在英文版p324-325），那个非常的直观。