机器学习基础（五十八）—— 香农熵 相对熵（KL散度）与交叉熵

分享一下我老师大神的人工智能教程！零基础，通俗易懂！http://blog.csdn.net/jiangjunshow

也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！

                       

1. 香农熵（Shannon entropy）

信息熵（又叫香农熵）反映了一个系统的无序化（有序化）程度，一个系统越有序，信息熵就越低，反之就越高。

如果一个随机变量 X           

给我老师的人工智能教程打call！http://blog.csdn.net/jiangjunshow