[机器学习 ] 优化器optimizer/鞍点/SGD/Adam

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u013608336/article/details/82666702

fintune 实验

Xcpetion网络 fintune　，图片分类，10类
Adam lr=1e-4时，只用7个epoch就收敛到最小loss，之后再继续训练会过拟合。精度略微上升，loss上升，loss上升就差不多认为是过拟合了。
SGD lr=1e-4，momentum =0.9 52轮之后差不多收敛，之后到103轮一直在附近徘徊，没有出现loss上升的趋势。

鞍点

参考

http://ruder.io/optimizing-gradient-descent/