Part I/ Chapter 3 信息论

信息论：对一个信号包含信息的多少进行量化。其基本想法是：一个不太可能的事件居然发生了，要比一个非常可能的事件发生，能提供更多的信息。

一、根据信息论的基本想法来量化信息，会有：

　　1、非常可能发生的事件信息量要比较少，并且极端情况下，确保能够发生的事件应该没有信息量。

　　2、较不可能发生的事件具有更高的信息量。

　　3、独立事件应具有增量的信息，例如投掷两次硬币两次正面朝上传递的信息量应该是投掷一次硬币正面朝上的信息量的两倍。

二、自信息量与香农熵。

三、KL散度：

　　1、定义：若同一个随机变量x有两个单独的概率分布P(x)和Q(x)，我们可以用KL散度衡量两个分布的差异：D_KL(P||Q)=E_x~P[logP(x)-logQ(x)]

　　2、目的：衡量当我们使用一种被设计成能够使得概率分布Q产生的消息的长度最小的编码，发送包含由概率分布P产生的符号的消息时，所需要的额外信息量。

　　3、交叉熵：H(P,Q)=H(P)+D_KL(P||Q)=-E_x~P[logQ(x)]