【DeepCV】学习率设定和优化器选取LR&Optimizer

Backto DeepCV

全凭经验和运气去试验。几个思路:

• LR 设一个定值(如 0.1)，让真实的 $LR' = \frac{LR}{num\_batches}$, 去调节 mini-batch的数量
• LR 设定一个初值(如 0.1)， 开始训练，观察 validation 的效果，发现优化不动了，就 $LR' = LR / 2$,

Ref

• 深度学习优化器 optimizer 的选择: 前面介绍的很详细，后面的动图很棒