梯度下降各种优化算法的比较

深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）

直接上别人的博客吧，哈哈，太懒了。。。。

https://zhuanlan.zhihu.com/p/32626442

https://zhuanlan.zhihu.com/p/22252270?utm_source=qq&utm_medium=social%20%E5%88%86%E7%B1%BB:%20%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0