学在信息——初窥门径

第一章内容

信息熵：表示信源的信息选择的不定度的测度
信号：是消息的载体，表示消息的物理量
信源编码器：数据压缩，提高有效性
信道编码：加入纠错元素，提高可靠性，抗干扰能力加强
方差公式：
D(X)=E{[x-E(X)²]}=E(X²)-E²(X)

第二章内容

自信息量：I(x_i)=-log p(x_i)
自信息量的定义反映了时间自身的不确定性

小概率事件包含的不确定性大，其自信息量大，而大概率事件则相反

联合自信息量：
I(x_iy_j)=-log p(x_iy_j)
若两事件独立，则I(x_iy_j)=I(x_i)+I(y_j)

条件自信息量：在一事件给定条件下的条件自信息量
I(x_i|y_j)=-log p(x_i|y_j)
I(x_iy_j)=I(x_i|y_j)+I(y_j)
I(x₁x₂…x_n)=I(x₁)+I(x₂|x₁)+…I(x_n|x₁x₂…x_n-1)
即x_i的发生将帮助减小或增大y_j自身的不确定性
维拉图

互信息量：事件一发生给出关于事件二的信息量
$$I(x_i;y_j)=\frac{p(x_i|y_j)}{p(x_i)}=log\frac{1}{p(x_i)}-log\frac{1}{p(x_i|y_j)}=I(x_i)-I(x_i|y_j)$$
表明在y_j发生的情况下x_i仍具有的不确定性
互信息量可正可负

离散集的平均自信息量，也叫做信息熵
$$H(X)=-\sum _{i=1}^{q}p(x_i)logp(x_i)$$

熵具有对称性，各分量角换次序，熵不变
熵具有非负性，确定场的熵最小，为0
熵具有扩展性，增加极小概率事件，熵值可看作不变
熵具有可加性：H(XY)=H(X)+H(Y|X)
熵具有极值性，最大熵定理，等概场的熵最大，即H(X)=log n
熵具有上凸性，H_n(p₁,p₂,…p_q)是概率分布（p₁,p₂,…p_q）的严格上凸函数