梯度下降_神经网络中的运用

简单的数学推导,讲解神经网络中常用的梯度下降.

    为了便于理解, 我们就用最简单的网络来讲解.比如下面的网络.

    此网络只有简单的两层，３个输入 $x1, x2, x3$. １个输出 $\hat{y}$，激活函数 $f(h)$采用sigmoid函数．梯度下降的目标是求得最合适的权重 $w1, w2, w3$使得预测输出 $\hat{y}$与真实值 $y$之间的误差 $E = \frac{1}{2}(y - \hat{y})$最小, 这里的 $\frac{1}{2}$是为了方便计算. 从下图直观的感受下, 就是沿着梯度下降的方向移动, 逐渐到达 $E$的最小值处.

    上图箭头的方向就是梯度下降方向的更新步长 $\Delta w = -gradient$，下面来推导一下如何求得 $\Delta w$.
$\begin{aligned}\frac{\partial E}{\partial w_{i}} &= \frac{\partial }{\partial w_{i}}\frac{1}{2}(y - \hat{y})^{2} \\&= (y - \hat{y})\frac{\partial }{\partial w_{i}}(y - \hat{y}) \\&= -(y - \hat{y})\frac{\partial \hat{y}}{\partial w_{i}}\end{aligned}$

   其中 $\hat{y} = f(x)$ 且 $h = \sum _{i}w_{i}x_{i}$, 那我们进一步对上式推导:

$\begin{aligned}\begin{aligned}\dfrac {\partial E}{\partial w_{i}}&=-\left( y-\widehat {y}\right) \dfrac {\partial \hat{y}}{\partial w_{i}}\\&= -\left( y-\widehat {y}\right) f'\left( h\right) \dfrac {\partial }{\partial w_{i}}\sum w_{i}x_{i}\end{aligned}\end{aligned}$

   其中:
$\begin{aligned}\begin{aligned}\dfrac {\partial }{\partial \omega_{i}}\sum _{i}w_{i}x_{i}&=\dfrac {\partial }{\partial \omega _{i}}\left[ w_{1},x_{1}+w_{2}x_{2}+\ldots +w_{i}x_{i}+\ldots w_{n}x_{n}\right] \\ &=x_{i}\end{aligned}\end{aligned}$

   到此未知我们就顺利的得到了误差 $E$关于 $w_{i}$的梯度:
$\begin{aligned}\dfrac {\partial E}{\partial \omega _{i}}=-\left(y- \hat{y}\right) f'\left( h\right) x_{i}\end{aligned}$

   沿着梯度下降的方向,以一定的学习速率 $\eta$移动,来更行步长: $\begin{aligned}\Delta w_{i}=\eta\dfrac {\partial E}{\partial \omega _{i}}\end{aligned}$

   为了方便表述,也便于求解,将步长更新 $\Delta w_{i}$改写为:
$\Delta w_{i}=\eta \delta x_{i}$

   其中: $\eta$为学习速率,值越大权重 $w$更新的速度也就越快. $\delta$为误差项 error term.
$\begin{aligned}\delta =-\left(y- \hat{y}\right) f'\left( h\right) \end{aligned}$

   有了权重 $w$的步长更新 $\Delta w$,我们就可以得到进一步接近最优解的新权重了 $w= w+\Delta w$.如此反复,经过一步步的迭代,权重 $w$将逐步收敛到最优解,就像上图2示意的那样,这就是梯度下降了.

根据上面的简单网络, 实列演示, 看具体怎么用梯度下降来更新权重 $w$.

import numpy as np
#定义sigmoid函数
def sigmoid(x):
    return 1/(1+np.exp(-x))
#sigmoid函数求导
def sigmoid_prime(x):
    return sigmoid(x) * (1 - sigmoid(x))

learnrate = 0.5                       #学习率
x = np.array([1, 2, 3])               #定义输入.x1,x2,x3
y = np.array(0.5)                     #定义输出
w = np.array([0.5, -0.5, 0.3])        #初始化权重,也就是上文中的w1,w2,w3.
h = np.dot(x,w)                       #求得h的值
nn_output = sigmoid(h)                #求得f(h)的值
error = y-nn_output                   #求得误差
error_term = sigmoid_prime(h)*error   #求得误差项
del_w = learnrate*error_term*x        #权重w的改变del_w

print('网络的输出:')
print(nn_output)
print('误差Error:')
print(error)
print('权重w的改变:')
print(del_w)

网络的输出:
0.598687660112452
误差Error:
-0.098687660112452
权重w的改变del_w:
[-0.01185539 -0.02371077 -0.03556616]