https://www.zhihu.com/question/64134994
1、勾配がより正確であるが、それはまた、より小さな分散につながることになりますバッチサイズを増やし、局所最適を引き起こす可能性がモデル。
図2に示すように、このように増加するバッチサイズは、典型的には、m倍、LR増加M倍またはSQRT（M）倍バッチサイズが増加するにつれて、学習速度を増加させるが、固定されていません。
3、学習率は、通常、直接増加ではない増加が大きすぎると、一般的には徐々に暖かくアップを通じて増加します。
4、策略参考ウォームアップトレーニング物体検出ニューラルネットワークのための無料配布のバッグ
初期の学習率が用意され、バッチをウォームアップするためにMを用いて調製し、各BATCH
、学習率に設定されるたびに、私は/メートルのn *