あまりにも小さなバッチサイズ:勾配不安定の各計算は、ショックトレーニングが比較的大きく生じ、収束することは困難です。
あまりにも大きなバッチサイズ:
(1)改善されたメモリ使用率、大行列乗算平行効率を向上させます。
(2)は、比較的小さな衝撃トレーニングを引き起こし、計算擬似勾配方向を比較します。
1つのエポックを完了するために必要な反復の数(3)は、同じデータ量、データ処理速度、小さくなる。
短所:内容をこぼしやすい、あなたは同じ精度を達成したい、エポックはますます大規模、局所解に陥りやすい、貧しい汎化性能となります。
バッチサイズが提供さ:通常10〜100、通常は2のn乗に設定します。
理由:GPUメモリとCPUコンピュータがバイナリモードで格納され、2のn乗を高速に計算することができます。