バッチサイズを設定する方法

あまりにも小さなバッチサイズ:勾配不安定の各計算は、ショックトレーニングが比較的大きく生じ、収束することは困難です。

あまりにも大きなバッチサイズ:

(1)改善されたメモリ使用率、大行列乗算平行効率を向上させます。

(2)は、比較的小さな衝撃トレーニングを引き起こし、計算擬似勾配方向を比較します。

1つのエポックを完了するために必要な反復の数(3)は、同じデータ量、データ処理速度、小さくなる。

短所:内容をこぼしやすい、あなたは同じ精度を達成したい、エポックはますます大規模、局所解に陥りやすい、貧しい汎化性能となります。

 

バッチサイズが提供さ:通常10〜100、通常は2のn乗に設定します。

理由:GPUメモリとCPUコンピュータがバイナリモードで格納され、2のn乗を高速に計算することができます。

おすすめ

転載: www.cnblogs.com/happytaiyang/p/11617551.html