A mathmatical theory of communication阅读笔记（2）

上一遍博文总结了文章的引言部分，这第二篇，总结一下离散无噪声系统的五个要点，分别是离散无噪声信道、离散信息源、英语的序列近似、马尔科夫过程的图形表示、遍历性和混合源。

1. 离散无噪声信道（如何衡量信道的能力，信道capacity的定义，状态的图表示）
   

   $$C = \lim_{T\to{\infty}}\frac{N(T)}{T}$$
   其中N(T)是在T时间内可能的传输信号数目。原文：$N(T)$is the number of allowed signals of duration T。我们对能够发送的信号序列和每个信号的发送时间做一个限制。要计算N(T)，就需要求解一个有限差分方程。
   $$N(t) = N(t-t_1)+N(t-t_2)+N(t-t_3)+...+N(t-t_n)$$
   好在这个差分方程，数学家已经给出了解决方案，可以通过求解对应的特征方程来求解。
   这种不同序列的约束，是相当general的case，而且可以通过图表示。并且附录证明只要能够通过这种图表示，那么信道C就存在，并且可以通过求解一个对应的行列式方程得到。信道的特性C只和它本身传输的信号特性（不同信号传输时间，信号之间的变换限定）有关。

2. 离散信息源（怎样用数学形式表示信源，给定信息源的生成信息的速度是多少呢，为什么要研究信息源）
   我们可以看到上文中求解信道的C的时候只用到了信号的持续时间，而没有过分关注信源。所以信道相对独立，我们可以通过研究信号源的特性，然后通过适当的编码来降低对信道capacity的要求（研究信源的原因）。信源传输的序列往往是有规律的，这个规律的数学模型就是随机过程，离散信息源是一个随机过程，任何从有限符号集合中选择符号产生符号序列的随机过程就是离散信源。常见的离散源有（A）比如英语、德语、汉语等自然语言。（B）通过量化过程的连续源，比如经过了PCM发送器的量化语音等。（C）数学定义的随机过程，它能够生成一个符号序列。最general的case就是n-gram模型，它的统计结构由$p(i_1,i_2,...,i_n)$或者$p_{i_1,i_2,...,i_{n-1}}(i_n)$确定。

3. 英语的序列近似（怎么用随机过程去近似英语）。

   • 0阶近似。任意独立的选择字母。
   • 1阶近似。独立的选择字母，但是每个字母有不同的频率。
   • 2阶近似。digram前后不独立。
   • 3阶近似。trigram。
   • 1阶单词近似。
   • 2阶单词近似。

4. 马尔科夫过程的图形表示
   上面提到的就是数学中的离散马尔科夫过程，general的表示方式是通过一系列状态$S_1,S_2,...,S_n$,和状态之间的转移概率$P_i(j)$确定。状态可以看做是一个字母产生的残余。状态是图中的节点，而字母和概率对应线。

5. 遍历性和混合源(什么是遍历性，如何证明遍历性，什么是混合源)
   上面提到的离散源，就是离散马尔科夫过程。这些马尔科夫过程的一个子集在通信理论中非常重要。这个子集叫做遍历的马尔科夫过程，我们叫对应的源叫遍历源（ergodic source）。遍历过程的正式定义有点复杂，想法还是比较简单的，就是过程产生的每个序列有相同的统计特性。也可以把遍历性叫做统计同质性。所有4中的过程都是ergodic的。证明一个马尔科夫过程是ergodic的充分条件是它的图表示满足两个特性（1）不存在两个孤立的子图。（2）所有闭序列长度的最大公约数是1。混合源就是不满足（1）的源，但是它的孤立子图是ergodic的。