版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_41185868/article/details/83513888
ML与Information：机器学习与Information信息论之间那些七七八八、乱七八糟、剪不断理还乱的关系攻略
ML与信息论
ML与熵
1、熵的基础知识
(1)、相对熵：两个KL散度的区别：
1)、绿色曲线是真实分布p的等高线；红色曲线是使用近似p(z1,z2)=p(z1)p(z2)得到的等高线。
2)、蓝色曲线是真实分布p的等高线；红色曲线是单模型近似分布q的等高线。
(2)各种熵之间的关系图
2、熵与分布的关系
(1)、两点分布的熵
(2)、三点分布的熵