梯度下降和反向传播的理解

神经网络靠反向传播更新权重W 才能使得 我的 模型越来越逼近我想要的模型,

而这个过程,因为梯度下降是函数值下降最快的方向,因此,

ML常用的除了梯度下降还有牛顿方法,核方法,求逆,MS算法(胶囊网络号称没用梯度下降,就是用了这个的变体)。)

1.什么是梯度下降法

绝大部分的机器学习算法最后都是最优化一个目标函数,而梯度下降算法是寻找一个函数局部最优解的有效方法。

顺着梯度下滑,找到最陡的方向,迈一小步,然后再找当前位,置最陡的下山方向,再迈一小步…

   

以上那个图是 二元的目标函数,即,只有X,Y两个变量(权值W),Z是损失值的目标函数,找到目标函数的最低点,就找到的损失值最低的权值是多少。

扩展阅读:

https://zhuanlan.zhihu.com/p/31167453

https://zhuanlan.zhihu.com/p/25355758

https://zhuanlan.zhihu.com/p/72040692

猜你喜欢

转载自blog.csdn.net/txpp520/article/details/108046072