梯度下降如何跳过局部最优（深度学习各种优化方法详解）【持续更新】

版权声明：博客为作者平时学习备忘，参考资料已在文尾列出一并表示感谢。如若转载，请列明出处。 https://blog.csdn.net/woai8339/article/details/82731079

梯度下降是很多机器学习算法中都要用到梯度下降法，是一个优化利器。但梯度下降本质上是一个贪心算法，容易陷入局部最有。本文参考文献[1]的Momentum方法帮助梯度下降法跳出局部最优解。
各种优化方法见[2]详解。
———————-我是优雅分割线，先洗洗睡了—————–

Ref：
1、http://ruder.io/optimizing-gradient-descent/index.html#momentum
2、https://zhuanlan.zhihu.com/p/22252270