最近在学习神经网络的优化算法，发现网上有很多的算法介绍，但是却没有算法实现和实验对比，所以我就用python实现了BGD，SGD，MBGD，Momentum，Nesterov，Adagrad，RMSprop等算法，另外的Adam和NAdam算法是将Momentum，Nesterov，Adagrad几项合并起来的算法，属于工程方面的内容，所以我就没有实现了。
算法原理主要参考文献是：
整体算法参考：[深度解读最流行的优化算法：梯度下降] (https://www.jiqizhixin.com/articles/2016-11-21-4)
整体算法参考：深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）
Momentum 算法实现参考： Deep Learning 最优化方法之Nesterov(牛顿动量)
代码地址
https://github.com/20130353/MachineLearning_code/tree/master/optimize_algorithm
实验结果分析
在小数据集上的收敛速度对比
图片今天传不上了，明天在再补吧。。。。。