条件自信息跟互信息区别简述

简述

（PS部分，可以是拓展部分，可不看）
条件自信息： 条件自信息，本质上还是自信息。定义上，明确指出，是在已知事件$y = b_j$发生的条件下，$x = a_i$的自信息。

互信息： 互信息的话，并没有想象中的那么独立。其实，在互信息的定义中，就是依据自信息来定义的。本质上是通过数学表达式定义的。但是通过这个定义式，不难直接退出一个跟自信息相关的公式。

$$I(X;Y) = I(X) - I (X | Y)$$
就这么简单，可以看出，互信息，本身从定义上，就只是自信跟条件自信息的附属。
数学表达式的意思是： 事件 X, Y之间的互信息就是，指事件X的自信息跟事件Y已知的条件下，事件X的自信息之间的差值。

不难看出，这是在对于 Y事件的发生对于X事件这件事上的自信息的影响 的考量。
而这种关系是互易性的 （这个通过对上面式子的变形很简单推出来）。
这种互易性，也是符合逻辑的。这说明，一个事情的发送对另外一件事的所包含的信息量的影响，反过来也是成立的。
（PS：而这种一致性跟贝叶斯概率模型在截然不同的。当然啦，因为底层的逻辑是不一致的。因为贝叶斯本质上的信息任然还是一种条件自信息。条件自信息的区别可以不同，但是由于本身的信息的不一致，又给补全回来了。这个补全回来的意思，用到了这里的互易性，加上贝叶斯模型上广泛的不一致问题。）

类型	条件自信息	互信息
互易性	（不一定具有）p(x|y) 跟 p(y|x)不一定相等	是
x,y独立时	$I(X|Y) = I(X)$	$I(X;Y) = 0$
正负性	不为负	可正可负