数学基础-熵的理解

熵

熵是用来衡量变量不确定性的指标，变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量就越大，用样本的分布衡量平均编码长度。熵的表达式为 $H(p)=-\sum{p(i)*\log{p(i)}}$，例如盒子里有4个颜色的求，每个球的概率是$\frac{1}{4}$，那么需要的平均编码长度为2。

交叉熵

交叉熵是用分布q来表示分布p的平均编码长度，表达式是：$H(p,q)=\sum_{i}^{} p(i)*\log\frac{1}{q(i)}$， $H(p,q)>=H(p)$ 恒成立，当q与p同分布时取等号。交叉熵是神经网络、深度学习模型的损失函数，最小化交叉熵使模型预测的输出与标记同分布。

相对熵

相对熵又被称为KL散度(Kullback–Leibler divergence，KLD) ，表示2个函数或概率分布的差异性，差异越大则相对熵越大，差异越小则相对熵越小，其表达式为$H(p,q)-H(p)=\sum_{i}^{} p(i)*\log\frac{p(i)}{q(i)}$

联合熵

联合熵表示（X,Y）在一起时的不确定性度量，表达式为 $H(X,Y)=-\sum{p(x,y)*\log{p(x,y )}}$

条件熵

条件熵是X确定时，Y的不确定性度量，表达式为 $H(X,Y)-H(X)=-\sum{p(x,y)*\log{p(y/x)}}$

详细说明参考 如何通俗的解释交叉熵与相对熵?

本文内容参考以下链接，写博客的目的是学习的总结和知识的共享，如有侵权，请与我联系，我将尽快处理
https://www.zhihu.com/question/41252833