神经网络靠反向传播更新权重W 才能使得 我的 模型越来越逼近我想要的模型,
而这个过程,因为梯度下降是函数值下降最快的方向,因此,
(ML常用的除了梯度下降还有牛顿方法,核方法,求逆,MS算法(胶囊网络号称没用梯度下降,就是用了这个的变体)。)
1.什么是梯度下降法
绝大部分的机器学习算法最后都是最优化一个目标函数,而梯度下降算法是寻找一个函数局部最优解的有效方法。
顺着梯度下滑,找到最陡的方向,迈一小步,然后再找当前位,置最陡的下山方向,再迈一小步…
以上那个图是 二元的目标函数,即,只有X,Y两个变量(权值W),Z是损失值的目标函数,找到目标函数的最低点,就找到的损失值最低的权值是多少。
扩展阅读:
https://zhuanlan.zhihu.com/p/31167453