参考：深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）
| 学习率 | 方法 | 缺点 | 优点 | 经验 |
| 手动设置学习率 | SGD(mini-batch gradient descent) | 选择合适的learning rate比较困难 - 对所有的参数更新使用同样的learning rate。对于稀疏数据或者特征，有时我们可能想更新快一些对于不经常出现的特征，对于常出现的特征更新慢一些，这时候SGD就不太能满足要求了 | 初始化和学习率设置比较合适的情况下，结果更可靠 | SGD通常训练时间更长，但是在好的初始化和学习率调度方案的情况下，结果更可靠 |
| SGD容易收敛到局部最优，并且在某些情况下可能被困在鞍点 | ||||
| Momentum | 依赖于人工设置一个全局学习率 | 下降初期时，使用上一次参数更新，下降方向一致，乘上较大的μ能够进行很好的加速 | ||
| 下降中后期时，在局部最小值来回震荡的时候，gradient—>0，μ使得更新幅度增大，跳出陷阱 | ||||
| 在梯度改变方向的时候，μ能够减少更新 总而言之，momentum项能够在相关方向加速SGD，抑制振荡，从而加快收敛 | ||||
| Nesterov | 依赖于人工设置一个全局学习率 | nesterov项在梯度更新时做一个校正，避免前进太快，同时提高灵敏度。 | ||
| 自适应学习率 | Adagrad(对学习率进行约束，累加之前所有的梯度平方) ( lr = 0.01, epsilon = None, decay = 0 ) | 仍依赖于人工设置一个全局学习率 | 前期gt较小的时候， regularizer较大，能够放大梯度 | 1.对于稀疏数据，尽量使用学习率可自适应的优化方法，不用手动调节，而且最好采用默认值。 2.如果在意更快的收敛，并且需要训练较深较复杂的网络时，推荐使用学习率自适应的优化方法。 3.Adadelta，RMSprop，Adam是比较相近的算法，在相似的情况下表现差不多。 |
| η设置过大的话，会使regularizer过于敏感，对梯度的调节太大 | 后期gt较大的时候，regularizer较小，能够约束梯度 | |||
| 中后期，分母上梯度平方的累加将会越来越大，使gradient—>0，使得训练提前结束 | 适合处理稀疏梯度 | |||
| Adadelta（对学习率进行约束，只累加固定大小的项) ( lr = 1.0, rho = 0.95, epsilon = None, decay = 0 ) | Adadelta，RMSprop，Adam表现相似 | 不用依赖于全局学习率 | ||
| 训练初中期，加速效果不错，很快 | ||||
| 训练后期，反复在局部最小值附近抖动 | ||||
| RMSprop(Adadelta的一个特例) | 依然依赖于全局学习率 | RMSprop算是Adagrad的一种发展，和Adadelta的变体，效果趋于二者之间，适合处理非平稳目标 - 对于RNN效果很好 | ||
| Adam(带有动量项的RMSprop) ( lr = 0.001, beta_1 = 0.9, beta_2 = 0.999, epsilon = None, decay = 0 , amsgrad = False) | Adadelta，RMSprop，Adam表现相似 | 经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳 | ||
| 结合了Adagrad善于处理稀疏梯度和RMSprop善于处理非平稳目标的优点 | ||||
| 对内存需求较小 | ||||
| 为不同的参数计算不同的自适应学习率 | ||||
| 也适用于大多非凸优化 - 适用于大数据集和高维空间 | ||||
| Adamax ( lr = 0.002, beta_1 = 0.9, beta_2 = 0.999, epsilon = None, decay = 0 ) | 对学习率的上限提供了一个更简单的范围 | |||
| Nadam | Nadam对学习率有了更强的约束，同时对梯度的更新也有更直接的影响。 | |||
| 在想使用带动量的RMSprop，或者Adam的地方，大多可以使用Nadam取得更好的效果。 |