交叉熵损失函数原理和推导

一 交叉熵原理

1 信息量

信息量的大小与信息发生的概率成反比。
公式如下：
$$I(x)=-log(P(x))$$
其中，$I(x)$为信息量,$P(x)$为某一事件发生的概率

2 信息熵(熵)

信息熵用来表示所有信息量的期望。
公式如下：
$$H(\mathrm{X})=-\sum _{i=1}^{n}P\left(x_i\right)\log \left(P\left(x_i\right)\right)$$
其中$X$为离散变量$(X=x1,x2,\dots ,xn)$

3 相对熵(KL散度)

使用KL散度来衡量对于同一随机变量的两个单独概率分布之间的差异。
公式如下：

$$D_{KL}(p\Vert q)=\sum _{i=1}^{n}p\left(x_i\right)\log \left(\frac{p\left(x_i\right)}{q\left(x_i\right)}\right)$$
$P(x)$表示样本的真实分布，$Q(x)$表示模型所预测的分布。
KL散度越小，表示$P(x)$和$Q(x)$的分布更接近，反复训练$Q(x)$使其分布逼近$P(x)$。

4 交叉熵

交叉熵=相对熵-信息熵
$$H(p,q)=\left[-\sum _{i=1}^{n}p\left(x_i\right)\log \left(q\left(x_i\right)\right)\right]$$
注：
$$\begin{array}{c}{D}_{KL}(p\Vert q)=\sum _{i=1}^{n}p\left(x_i\right)\log \left(\frac{p\left(x_i\right)}{q\left(x_i\right)}\right)\\ =\sum _{i=1}^{n}p\left(x_i\right)\log \left(p\left(x_i\right)\right)-\sum _{i=1}^{n}p\left(x_i\right)\log \left(q\left(x_i\right)\right)\\ =H(p(x))+\left[-\sum _{i=1}^{n}p\left(x_i\right)\log \left(q\left(x_i\right)\right)\right]\end{array}$$
训练网络时输入数据与标签已经确定，即$P(x)$确定，信息熵为常量。KL值越小，预测结果越好，需最小化KL散度，即用交叉熵损失函数计算。

5 小结

交叉熵源于信息论，主要用于度量两个概率分布间的差异性。
在线性回归问题中，常使用MSE作为损失函数；在分类问题中常使用交叉熵作为损失函数，在输出层使用softmax将输出的结果进行处理，使其多个分类的预测值和为1，再通过交叉熵来计算损失。

二 推导

1 Logistic交叉熵损失函数

公式：
$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m{y}^{(i)}\log \left(h_{\theta }\left(x^{(i)}\right)\right)+\left(1-y^{(i)}\right)\log \left(1-h_{\theta }\left(x^{(i)}\right)\right)$$
导数：
$$\frac{\partial }{\partial {\theta }_j}J(\theta )=\frac{1}{m}\sum _{i=1}^m\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)x_j^{(i)}$$
推导
对于logistic回归，m组样本，输入样本$x^{(i)}={\left(1,x_1^{(i)},x_2^{(i)},\dots ,x_p^{(i)}\right)}^T$，为$p+1$维向量（考虑bias）；$y^{(i)}$表示类别，此处取0或1；模型的参数为$\theta ={\left({\theta }_0,{\theta }_{1,\dots ,}{\theta }_p\right)}^T$
$${\theta }^T{x}^{(i)}:={\theta }_0+{\theta }_1{x}_1^{(i)}+\cdots +{\theta }_p{x}_p^{(i)}.$$
假设函数定义为：$h_{\theta }\left(x^{(i)}\right)=\frac{1}{1+e^{-{\theta }^T{x}^{(i)}}}$
$$\begin{array}{c}P\left({\hat{y}}^{(i)}=1\mid x^{(i)};\theta \right)=h_{\theta }\left(x^{(i)}\right)\\ P\left({\hat{y}}^{(i)}=0\mid x^{(i)};\theta \right)=1-h_{\theta }\left(x^{(i)}\right)\\ \log P\left({\hat{y}}^{(i)}=1\mid x^{(i)};\theta \right)=\log h_{\theta }\left(x^{(i)}\right)=\log \frac{1}{1+e^{-{\theta }^T{x}^{(i)}}}\\ \log P\left({\hat{y}}^{(i)}=0\mid x^{(i)};\theta \right)=\log \left(1-h_{\theta }\left(x^{(i)}\right)\right)=\log \frac{e^{-{\theta }^T{x}^{(i)}}}{1+e^{-{\theta }^T{x}^{(i)}}}\end{array}$$
对于第$i$组样本，假设函数表征正确的组合对数概率为：
$$\begin{array}{c}I\left\{y^{(i)}=1\right\}\log P\left({\hat{y}}^{(i)}=1\mid x^{(i)};\theta \right)+I\left\{y^{(i)}=0\right\}\log P\left({\hat{y}}^{(i)}=0\mid x^{(i)};\theta \right)\\ =y^{(i)}\log P\left({\hat{y}}^{(i)}=1\mid x^{(i)};\theta \right)+\left(1-y^{(i)}\right)\log P\left({\hat{y}}^{(i)}=0\mid x^{(i)};\theta \right)\\ =y^{(i)}\log \left(h_{\theta }\left(x^{(i)}\right)\right)+\left(1-y^{(i)}\right)\log \left(1-h_{\theta }\left(x^{(i)}\right)\right)\end{array}$$
对于$m$组样本可得损失函数：
$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m{y}^{(i)}\log \left(h_{\theta }\left(x^{(i)}\right)\right)+\left(1-y^{(i)}\right)\log \left(1-h_{\theta }\left(x^{(i)}\right)\right)$$
$J$取负号的原因：表征正确的概率值越大，模型对数据的表达能力越好；但在衡量模型优劣时表现误差的损失函数且越小越好。两相矛盾，所以令损失函数对表征正确的组合对数概率取反。
求导
第一步：
$$\begin{array}{c}J(\theta )=-\frac{1}{m}\sum _{i=1}^m{y}^{(i)}\log \left(h_{\theta }\left(x^{(i)}\right)\right)+\left(1-y^{(i)}\right)\log \left(1-h_{\theta }\left(x^{(i)}\right)\right)\\ =-\frac{1}{m}\sum _{i=1}^m\left[-y^{(i)}\left(\log \left(1+e^{-{\theta }^T{x}^{(i)}}\right)\right)+\left(1-y^{(i)}\right)\left(-{\theta }^T{x}^{(i)}-\log \left(1+e^{-{\theta }^T{x}^{(i)}}\right)\right)\right]\\ =-\frac{1}{m}\sum _{i=1}^m\left[y^{(i)}{\theta }^T{x}^{(i)}-{\theta }^T{x}^{(i)}-\log \left(1+e^{-{\theta }^T{x}^{(i)}}\right)\right]\\ =-\frac{1}{m}\sum _{i=1}^m{\left[y^{(i)}{\theta }^T{x}^{(i)}-\log e^{{\theta }^T{x}^{(i)}}-\log \left(1+e^{-{\theta }^T{x}^{(i)}}\right)\right]}_{}\\ =-\frac{1}{m}\sum _{i=1}^m{\left[y^{(i)}{\theta }^T{x}^{(i)}-\left(\log e^{{\theta }^T{x}^{(i)}}+\log \left(1+e^{-{\theta }^T{x}^{(i)}}\right)\right)\right]}_{}\\ =-\frac{1}{m}\sum _{i=1}^m\left[y^{(i)}{\theta }^T{x}^{(i)}-\log \left(e^{{\theta }^T{x}^{(i)}}+1\right)\right]\end{array}$$
第二步：
$$\begin{array}{c}\frac{\partial }{\partial {\theta }_j}J(\theta )=\frac{\partial }{\partial {\theta }_j}\left(\frac{1}{m}\sum _{i=1}^m\left[\log \left(1+e^{{\theta }^T{x}^{(i)}}\right)-y^{(i)}{\theta }^T{x}^{(i)}\right]\right)\\ =\frac{1}{m}\sum _{i=1}^m\left(\frac{x_j^{(i)}{e}^{{\theta }^T{x}^{(i)}}}{1+e^{{\theta }^T{x}^{(i)}}}-y^{(i)}{x}_j^{(i)}\right)\\ =\frac{1}{m}\sum _{i=1}^m\left(h_{\theta }\left(x^{(i)}\right)-y^{(i)}\right)x_j^{(i)}\end{array}$$

2 Softmax交叉熵损失函数

公式：
$$C=-\sum _i{y}_i\ln a_i$$
$a_i=\frac{e^{z_i}}{{\sum }_k{e}^{z_k}},z_i={\sum }_j{w}_{ij}{x}_{ij}+b$
其中,$y_i$表示真实的分类结果，$z_i$为神经元的输出
$w_{ij}$为第$i$个神经元的第$j$个权重，$b$是偏移值，$z_i$表示该网络的第$i$个输出，$a_i$为给第$i$个输出加softmax函数：
导数：
$$\frac{\partial C}{\partial z_i}=a_i-y_i$$
推导：
$$\frac{\partial C}{\partial z_i}=\sum _j\left(\frac{\partial C_j}{\partial a_j}\frac{\partial a_j}{\partial z_i}\right)$$
$$\frac{\partial C_j}{\partial a_j}=\frac{\partial \left(-y_j\ln a_j\right)}{\partial a_j}=-y_j\frac{1}{a_j}$$
对于$\frac{\partial a_j}{\partial z_i}$有如下两种情况：
（1）$i=j$
$$\begin{gathered} \frac{\partial a_i}{\partial z_i}=\frac{\partial \left(\frac{e^{z_i}}{{\sum }_k{e}^{z_k}}\right)}{\partial z_i}=\frac{{\sum }_k{e}^{z_k}{e}^{z_i}-{\left(e^{z_i}\right)}^2}{{\left({\sum }_k{e}^{z_k}\right)}^2} \\ =\left(\frac{e^{z_i}}{{\sum }_k{e}^{zk}}\right)\left(1-\frac{e^{z_i}}{{\sum }_k{e}^{zk}}\right)=a_i\left(1-a_i\right) \end{gathered}$$
（2）$i\ne j$
$$\frac{\partial a_j}{\partial z_i}=\frac{\partial \left(\frac{e^{z_j}}{\sum k{e}^{z_k}}\right)}{\partial z_i}=-e^{z_j}{\left(\frac{1}{{\sum }_k{e}^{zk}}\right)}^2{e}^{z_i}=-a_i{a}_j$$
综上：
$$\begin{array}{rl}& \frac{\partial C}{\partial z_i}=\sum _j\left(\frac{\partial C_j}{\partial a_j}\frac{\partial a_j}{\partial z_i}\right)=\sum _{j\ne i}\left(\frac{\partial C_j}{\partial a_j}\frac{\partial a_j}{\partial z_i}\right)+\sum _{i=j}\left(\frac{\partial C_j}{\partial a_j}\frac{\partial a_j}{\partial z_i}\right)\\ & =\sum _{j\ne i}-y_j\frac{1}{a_j}\left(-a_i{a}_j\right)+\left(-y_i\frac{1}{a_i}\right)\left(a_i\left(1-a_i\right)\right)\\ & =\sum _{j\ne i}{a}_i{y}_j+\left(-y_i\left(1-a_i\right)\right)\\ & =\sum _{j\ne i}{a}_i{y}_j+a_i{y}_i-y_i\\ & =a_i\sum _j{y}_j-y_i\end{array}$$
针对分类问题，$yi$最终只会有一个类别是1，其他类别都是0
所以$\frac{\partial C}{\partial z_i}=a_i-y_i$

附录 求导公式和法则

基本初等函数求导公式
(1) $(C{)}^{\prime }=0$
(2) ${\left(x^{\mu }\right)}^{\prime }=\mu x^{\mu -1}$
(3) $(\sin x{)}^{\prime }=\cos x$
(4) $(\cos x{)}^{\prime }=-\sin x$
(5) $(\tan x{)}^{\prime }={\sec }^{2}x$
(6) $(\cot x{)}^{\prime }=-{\csc }^{2}x$
(7) $(\sec x{)}^{\prime }=\sec x\tan x$
(8) $(\csc x{)}^{\prime }=-\csc x\cot x$
(9) ${\left(a^x\right)}^{\prime }=a^x\ln a$
(10) ${\left({\mathrm{e}}^x\right)}^{\prime }={\mathrm{e}}^x$
(11) ${\left({\log }_{a}x\right)}^{\prime }=\frac{1}{x\ln a}$
(12) $(\ln x{)}^{\prime }=\frac{1}{x}$,
(13) $(\arcsin x{)}^{\prime }=\frac{1}{\sqrt{1-x^2}}$
(14) $(\arccos x{)}^{\prime }=-\frac{1}{\sqrt{1-x^2}}$
(15) $(\arctan x{)}^{\prime }=\frac{1}{1+x^2}$
(16) $(\mathrm{arccot}x{)}^{\prime }=-\frac{1}{1+x^2}$
求导法则
设 $u=u(x),v=v(x)$ 都可导, 则
(1) $(u\pm v{)}^{\prime }=u^{\prime }\pm v^{\prime }$
(2) $(Cu{)}^{\prime }=C{u}^{\prime }(C$ 是常数)
(3) $(uv{)}^{\prime }=u^{\prime }v+u{v}^{\prime }$
(4) ${\left(\frac{u}{v}\right)}^{\prime }=\frac{u^{\prime }v-u{v}^{\prime }}{v^2}$
复合函数求导法则
设 $y=f(u)$, 而 $u=\phi (x)$ 且 $f(u)$ 及 $\phi (x)$ 都可导, 则复合函数 $y=f[\phi (x)]$ 的导数为
$$\frac{dy}{dx}=\frac{dy}{du}\cdot \frac{du}{dx}\text{ 或 }{y}^{\prime }=f^{\prime }(u)\cdot {\phi }^{\prime }(x)$$

扫描二维码关注公众号，回复： 14811963 查看本文章