Softmax 反向传播公式推导

Softmax 反向传播公式推导

标签（空格分隔）： Caffe源代码

---

Softmax是深度学习最常见的激活函数，能够将输入按照某一维度进行归一化，输出（0， 1）的值

Softmax函数形式为：

$$f({x_i}) = \frac{{{e^{{x_i}}}}}{{\sum\limits_{j = 1}^K {{e^{{x_j}}}} }}$$

现在我们对Softmax函数进行求导，分为两种情况：
（1）当 $k = i$ 时，

$$\frac{{\partial f}}{{\partial {x_k}}} = \frac{{\partial f}}{{\partial {x_i}}} = \frac{{{e^{{x_i}}} \times \sum\limits_{j = 1}^K {{e^{{x_j}}}} - {e^{2{x_i}}}}}{{{{(\sum\limits_{j = 1}^K {{e^{{x_j}}}} )}^2}}} = \frac{{{e^{{x_i}}} \times (\sum\limits_{j = 1}^K {{e^{{x_j}}}} - {e^{{x_i}}})}}{{{{(\sum\limits_{j = 1}^K {{e^{{x_j}}}} )}^2}}} = \frac{{{e^{{x_i}}}}}{{\sum\limits_{j = 1}^K {{e^{{x_j}}}} }} \times \frac{{\sum\limits_{j = 1}^K {{e^{{x_j}}}} - {e^{{x_i}}}}}{{\sum\limits_{j = 1}^K {{e^{{x_j}}}} }}$$

显然，上面式子可以化简成如下：

$$\frac{{\partial f}}{{\partial {x_k}}} = f({x_k})(1 - f({x_k}))$$

(2)当 $k \ne i$ 时

$$\frac{{\partial f}}{{\partial {x_k}}} = \frac{{ - {e^{{x_i}}} \times {e^{{x_k}}}}}{{{{(\sum\limits_{j = 1}^K {{e^{{x_j}}}} )}^2}}} = f({x_i})f({x_k})$$

那么在Caffe代码中怎么进行反向传播的呢？