1.SGD
L2 regularization 和 Weight decay 只在SGD优化的情况下是等价的。
2.自适应学习率算法
Adam自动调整学习率，大幅提高了训练速度，也很少需要调整学习率，但是有相当多的资料报告Adam优化的最终精度略低于SGD。
问题出在哪呢，其实Adam本身没有问题，问题在于目前大多数DL框架都是在优化器之前加上L2正则项来替代weight decay。
3. Adam vs AdamW
4. 图示分析
- 横纵坐标分别是不同的weight decay和learning rate的组合;
- 上方可以看到, 原始的实现方法, 最优化区域很小, 而且learning rate和weight decay有极大的相关性, 也就是说固定一个去调整另一个, 马上就会结果变差；
- 而下边作者提出的实现方法, 最优化区域明显增大, 固定一个去调整另一个, 才会真正的实现结果优化, 找到最优的参数组合.