信息熵公式的来源

信息熵公式的来源

之所以会写这篇博客，是因为在上一篇博客：

• 秦刚刚的机器学习成长之路之决策树总结

https://blog.csdn.net/yzcjwddbdgg/article/details/85251353

中，决策树在进行特征选择的时候用到了信息增益和信息增益比，这两者的本质就是信息熵公式。
在网上看了很多相关讲解，我个人觉得通过以下几篇文章就能很好的弄清楚这一问题：

https://www.zhihu.com/question/22178202/answer/223017546
https://www.zhihu.com/question/22178202/answer/49929786
https://www.zhihu.com/question/22178202/answer/161732605