深度学习 参数笔记 深度学习基础——Epoch、Iteration、Batchsize

深度学习基础——Epoch、Iteration、Batchsize

GPU对2的幂次的batch可以发挥更佳的性能，因此设置成16、32、64、128...时往往要比设置为整10、整100的倍数时表现更优
https://zhuanlan.zhihu.com/p/27763696

在训练中动态的调整学习率

深度学习通用策略：SGD, weight decay, momentum, normalization含义理解