第一章绪论
一、基本要求
- 掌握消息、信号和信息的基本概念
- 明确信息论的研究对象、研究目的和研究内容
- 掌握通信系统模型
- 什么是信息？什么是消息、信号？
香农信息的定义：信息是指各个事物运动及状态变化的方式。
信息系的基本概念在于它的不确定性，任何已确定的事物都不含信息。
消息：指包含信息的语言、文字、图像等。
信号：消息的物理体系。
- 香农是信息论的奠基人
- 通信系统模型
信源——>信道——>信宿 - 通信系统三项性能指标
有效性
可靠性
安全性
- 三类编码
信源编码
信道编码
加密编码
- 作业练习
信息的基本概念在于它的不确定性。
信息论研究的目的就是要找到信息传输的共同规律，移提高信息传输的可靠性、有效性、保密性、认证性，使信息传输系统达到最优化。
通信系统的性能指标主要是经济性、有效性、可靠性、安全性。
信源编码——有效性
信道编码——可靠性
加密编码——安全性
第二章信源与信源熵1
- 根据参数集和值域是离散还是连续区间金星秀分类：
- 时间离散空间离散信源：T离散，Ex离散。（离散信源）如文字、数字、数据、字母等。
- 时间离散空间连续信源：T离散，Ex连续。（连续信源）如语言、图像、视频等。
- 时间连续空间离散信源：T连续，Exl离散。
- 时间连续空间连续信源：T连续，Ex连续。（波形信源）
- 根据序列的记忆特性进行分类
- 有记忆信源：相关联的
- 无记忆信源：相互独立的
- 典型平稳信号：白噪声。典型非平稳信号：雷达信号。
- 随机过程可分为平稳随机过程和非平稳随机过程两大类，最常见的平稳随机过程为遍历过程。
- 从理论上说任何时间受限的函数，其频谱是无限的。反之，时间是无限的。
- 马尔可夫信源
当信源的记忆长度为m+1时称这种记忆信源为m阶马尔可夫信源。即信源每次发出的符号与前m个符号有关，与更前面的符号无关。
- 自信息量与不确定度
自信息量：符号出现后，提供给收信者的信息量。
不确定度：符号出现前，所含有的不确定性。
