DMC：离散无记忆信道 Discrete Memoryless Channel
关于信源编码：
单义可译：任意有限长的信源S的符号序列与任意有限长的码字序列一一对应
奇异码：码字与码源不是一一对应，即一对多，多对一
非即时码：译码时，要等下一个码子出现时才能做判断（W4）
即时码：无需后续符号即可立即译码（W5，也是逗点码，1起逗点作用)
前置码（Prefix code），又译前缀码，是一种编码系统。这种编码系统通常是可变长度码，在其中的每个码字，都具备“前置性质”（prefix property），也就是说，在编码中的每个码字，都不能被其他码字当成前置部位。举例而言，编码字 {9, 55} 具备了前置性质，但编码字{9, 5, 59, 55}就不具备，因为其中的"5"，是"59"及"55"的前置字。这也被称为无首码的代码（prefix-free codes，PFC，无前缀码）。
所谓“是前缀”用如下方法得出：
对于在码字集C中的码字a和b，判断a是否是b的前缀方法：
1.b不是以a开头，则不是前缀
2.b以a开头，若b中去掉和a重复的部分可以全部由C中的码字组成，则不是前缀
3.否则（即b以a开头，b去掉a的部分无法全由C中的码字组成），则是前缀
举例：C={1,00,010,110}是一组前缀码（这是典型的哈夫曼编码）
以1举例，它不是其他码字的前缀
比如1和110，110去掉和1重复的前缀还剩10，10无法由C中的码字完全组成，即使C中有1，但是没有0、10
这种前缀的判别方式是符合直观感受的，就是将b拆解成a+其他C中码字
各态历经性：
又称遍历性，通俗地说，就是指经历各种状态，在通信理论中，对于一个平稳随机过程，如果统计平均值等于时间平均值，统计自相关函数等于时间自相关函数则称之为各态历经性的平稳随机过程。在随机过程中，各态历经性的定义分为两个部分，即数学期望的各态历经性和相关函数的各态历经性。数学期望的各态历经性和相关函数的各态历经性统称为平稳过程的各态历经性，但二者存在显著的不同。
马尔可夫过程：
马尔可夫过程的大概意思就是未来只与现在有关，与过去无关。这种“下一时刻的状态至于当前状态有关，与上一时刻状态无关”的性质，称为无后效性或者马尔可夫性。而具有这种性质的过程就称为马尔可夫过程。马尔科夫链（Markov）是最简单的马氏过程，即时间和状态过程的取值参数都是离散的马氏过程。时间和状态的取值都是离散值。
信源的分类：
