交叉熵
期望：
期望就是所有随机变量的均值。
E(X)=X1*P（X1）+X2*P（X2）+X3*P（X3）
熵：
熵表示所有信息量的期望。
信息量如何计算呢？
概率值取Log，然后加个负号，就是信息量
I(X0)=-log（P（X0））
I(X0)代表信息熵
公式理解：概率越小，信息越大，概率越大，信息越小。
与正常思考反着来，因为概率大，所以这条信息重要性越小，因为都知道。所以信息量小。
因为概率小，所以这条信息很重要，因为概率小不确定，所以包含的信息量大
熵的公式：
熵就是在信息量的基础上求一个期望，（也就是先乘概率值再累计求和）熵的公式定义如下
以上的log函数全部底为2
举例：
对于二项分布，只有两种可能的情况，一个发生的概率为P(x),另一个发生的概率为1-P(x)，此时的信息量计算过程如下
在这里不要把这个看成二分类交叉熵。
交叉熵就是损失函数。信息量是各种情况熵的期望。熵的公式里面填的数字都是概率值。两种情况的事件，概率值只有两种，P(x) 和 1-P(x) ,带进去如上。
相对熵（KL散度）
KL散度的定义：
同一个随机变量X，有两个单独的概率分辨P（x）和Q（x）。用KL散度来衡量P（x）和Q（x）两个独立分辨之间的差异。KL散度值越小，表示P和Q的分布越接近。
直观理解：
KL之所以说是对比两个分布之间的差异。应该是相减 。但是体现在log里面的相除。log拆分开来的话不就是相减了吗！
交叉熵 Cross Entropy
交叉熵是做为损失函数来使用的。
表示对于数据预测分类情况的类别和真实类别情况之间的距离。
此时P(X)代表真实样本，Q（X）代表预测样本（注意这句话！！！！下面第三步要用的到）
我们使用梯度下降优化的目的，就是使得预测分类的结果尽可能的逼近真实的分类结果。也就是KL散度的值越小越好。
第一步：
带入KL散度公式，
第二步简化：
最右边这个P(xi)/Q(xi)拆开，从除变成减，两边都有P（xi）,求和符号也带着
现在设 
因为在上面已经提到熵的定义 公式。可以往上面翻翻看。所以
第三步
我们发现H（x）即是对P（x）进行求取熵，但是P（x）是一个真实的样本。那么他的初始值都已经固定了。P(X)也就是一个常数，而常数在接下来的LOSS中是没有任何意义的。那么就可以将这个去除。
这就是交叉熵。
交叉熵的应用
交叉熵在分类中常被使用，通常和Softmax在一起使用，softmax获取概率，带入到交叉熵中。根据交叉熵的值，不断的调整。
BCE 二分类交叉熵损失函数。
对于在二分类损失函数中应用，交叉熵损失函数为以下形式。
SoftWare交叉熵损失函数。
交叉熵经常搭配softmax使用，将输出的结果进行处理，使其多个分类的预测值和为1，再通过交叉熵来计算损失。
参考
https://blog.csdn.net/Albert233333/article/details/127148805