交叉熵概念整理

网上写得实在是太乱，整理下：

交叉熵函数：
$H(p,q)=E_p[-log\ q]=-\sum_{x\in \chi}p(x)log\ q(x)$
$x$是某个类别
$\chi$是所有的类别的集合

$H(p,q)=H(p)+D_{KL}(p||q)$
其中
$D_{KL}(p||q)=\sum_{x\in \chi}p(x)·log\frac{p(x)}{q(x)}$

交叉熵损失函数：
$L(w)=\frac{1}{N}\sum_{n=1}^NH(p_n,q_n)$
$=-\frac{1}{N}\sum_{n=1}^N[p_nlog\ q_n+(1-p_n)log(1-q_n)]$
$q_n=\frac{1}{1+e^{-w·x_n}}$
$w$指的是该隐藏单元的输入权重，
$x_n$指的是与隐藏单元链接的输入值
从定义可以看到，交叉熵损失函数的值总是小于１的。

参考链接：
https://www.cnblogs.com/ljy2013/p/6432269.html#commentform