PyTorch SGD 中参数 Momentum 的理解

动量，他的作用是尽量保持当前梯度的变化方向。没有动量的网络可以视为一个质量很轻的棉花团，风往哪里吹就往哪里走，一点风吹草动都影响他，四处跳动不容易学习到更好的局部最优。没有动力来源的时候可能又不动了。加了动量就像是棉花变成了铁球，咕噜咕噜的滚在参数空间里，很容易闯过鞍点，直到最低点。可以参照指数滑动平均。优化效果是梯度二阶导数不会过大，优化更稳定，也可以看做效果接近二阶方法，但是计算容易的多。

其实本质应该是对参数加了约束。

Ref

怎么通俗易懂的理解SGD中Momentum的含义？