【深度学习】logistic regression 中的反向传播 (Back Propagation)

logistic regression 中的反向传播 (back propagation)

梯度下降

在《深度学习中的 logistic regression》 一文中，最后我们得到了 logistic regression 的 cost function :
$J(\omega,\beta)={1\over m}\sum_i\mathscr{L}(\hat y, P(y|x))$
接下来只需要用梯度下降求解 cost function 的极小值。

现在我们在 logistic regression 中有 两个参数， $z=x^T\omega+\beta$，权重 $\omega$，偏置 $\beta$。
因此梯度下降为：
$\begin{aligned}\\ \{&\\ &\quad\quad\quad\quad\omega:=\omega-\alpha{\partial J(\omega,\beta)\over\partial\omega}\\ \\ &\quad\quad\quad\quad\beta:=\beta-\alpha{\partial J(\omega,\beta)\over\partial\beta}\\ \}&\\ \end{aligned}$

其中 $\alpha$ 为学习率（超参数）。
接下来的未知量只有 ${\partial J(\omega,\beta)\over\partial\omega}$ 和 ${\partial J(\omega,\beta)\over\partial\beta}$ 。所以接下来的问题就是求解这两个值，这两个值我们会把它叫做 $J(\omega,\beta)$ 的梯度，记为 $\nabla J(\omega,\beta)$。即：
$\nabla J(\omega,\beta)=\begin{bmatrix}\\ {\partial J(\omega,\beta)\over\partial\omega}\\ {\partial J(\omega,\beta)\over\partial\beta}\\ \end{bmatrix}$

因此我们把这个算法叫做梯度下降。

现在我们要求解梯度，就需要用到 反向传播 求梯度下降。

反向传播

我们先来看一个普遍的正向传播。

那它的反向传播长什么样呢？

红色线就是表示的反向传播，每条线代表
我们先看一下在 loss function 前的反向传播。

这个是正向的传播，有目前的 $\omega$ 和 $\beta$ 计算 $z$，然后通过 $\sigma(z)$ 计算 $\hat y$，其中 $\hat y$ 表示 $P(y = 1 | x)$，然后通过 $loss function$ 计算出 loss。
接下来如果我们已经求出 loss 了，我们要对 $\omega$ 和 $\beta$ 进行修正。
也就是要求反向传播。

先把旧稿发出，未完待续。(或许没有后续？？？)
想被催更