互信息、条件互信息

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u011322987/article/details/83751213

start:
西瓜书7.3

then：

参考两个博客

1. 互信息概念与定理

2. 互信息的理解

但第2中公式的变形，实在没看懂，于是推导部分参考wiki，或者这篇

参考资料和定义
熵（信息论）
条件熵
互信息