版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/B08370108/article/details/70233364
梯度下降法和反向传播网上资料非常多，记录点自己理解的
1.梯度下降法是为了使损失函数求最小，而梯度方向是函数增长最快的方向，前面加个负号就变成函数减少最快的方向：
更新后的权重 = 更新前的权重 + （-学习率*计算误差对权重的偏倒） 学习率取值很重要 过小的话收敛慢 过大的话可能错过极值点
这里把后半部分写在一个括号里为了更好理解，不要理解为权重减去某个值，应理解为权重沿梯度方向的反方向走，计算偏移量也是一样的
2.在神经网络中计算偏差对权重直接求偏倒很困难，这里就用到链式法则，通过中间变量求偏倒最后得到所要求的偏倒，这个过程就是 个反向传播的过程，一步步反向求网络的偏倒。