神经网络多分类中为什么用softmax函数归一化而不用其它归一化方法

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/Flying_sfeng/article/details/80927098

直观的解释是为了平衡概率分布，同时避免出现概率为0的情况（使得模型可以不用再做平滑化处理）。
从反向传播的角度推导一波：
softmax函数的形式为：

$$P(y=i)={e^{W_iX}\over \sum_{j=1}^Ne^{W_jX}}$$
目标函数为：
$$L=-\sum_kt_k logP(y=k) \ \ (t_k表示目标类为1，其它类为0)$$
令 $V_i=W_iX$，则：
$$\begin{align} {\partial L\over \partial V_i} & = -t_k{1\over P(y=k)}\cdot {\partial P(y=k)\over \partial V_i} \\ & = -t_k{1\over P(y=k)}\cdot {e^{W_iX}\cdot \sum_{j=1}^Ne^{W_jX}-e^{W_iX}\cdot e^{W_iX}\over (\sum_{j=1}^Ne^{W_jX})^2} \\ & = -t_k{1\over P(y=k)} \cdot [P(y=k)-(P(y=k))^2]\\ & = -t_k*(1-P(y=k)) \end{align}$$

由上式第一个等式可以知道，当我们使用一般的归一化方法时（如min_max归一化），当$P(y=k)$很小时，梯度将变得很大（梯度爆炸），而softmax函数把它约去了，因此不会出现这个问题。
参考：多类分类下为什么用softmax而不是用其他归一化方法?
如何理解softmax（柔性最大），为什么不用别的归一化的函数？