この記事では、ニューラル ネットワークで頻繁に使用され、混同されやすい 3 つの用語を最も簡単な方法で紹介します。文字は全部で 1162 文字あり、すべてを覚えるには約 6 分かかります。
バッチサイズ: 簡単に言うと、トレーニングのためにモデルに一度に投入するデータの量です。この値は 1 からトレーニング サンプルの総数までの間です。
バッチサイズは大きすぎても小さすぎてもダメです 値が小さすぎると、batchsize=1として、毎回1つのデータを使って学習することになります データ総量が多いと（データが10万個あるとして）モデルに10万個のデータを入力する必要があります データ学習完了までに時間がかかり、学習効率が非常に低いです 値が大きすぎると、batchsize=100000としてスローします一度に 100,000 個のデータをモデルに入力すると、メモリ オーバーフローが発生し、正常にトレーニングできなくなる可能性があります。
したがって、トレーニング速度とメモリ容量の最適なバランスを見つけるために、適切なバッチサイズ値を設定する必要があります。
いくつかの経験:
通常のデータセットと比較して、Batch_Size が小さすぎる場合、トレーニング データが収束することが非常に困難になり、アンダーフィッティングが発生します。Batch_Size を大きくすると、相対的な処理速度が速くなりますが、同時に必要なメモリ容量も増加します。より良いトレーニング効果を達成するには、一般にバッチサイズが増加するときに、最良の結果を得るためにすべてのサンプル (つまり、後で説明するエポック) のトレーニング回数を増やす必要があります。Batchsize を増やすと、一般的にすべてのサンプルのトレーニング時間が増加し、消費時間も増加します。そのため、モデルの全体的な効率とメモリ容量の間で最適なバランスを達成するには、適切な Batchsize 値を見つける必要があります。
iteration: 反復回数 (データがモデルに投入される回数)
一目で理解できる例を次に示します。合計 100 個のトレーニング データがあり、バッチサイズが 10 に設定されていると仮定します。つまり、合計 100 個のデータがあり、一度に 10 個のデータがトレーニングのためにモデルに投入されるとします。すべてのデータをトレーニングするのに合計で何回かかりますか? 100/10=10(回)、つまり、10回投げる(反復する)ことでデータを1回学習させることができます。ここで、投げるデータの数(反復回数)=反復=10となります。
知らせ：
各反復の結果は、次の反復の初期値として使用されます。たとえば、上記の例では 10 回の反復が必要です。まず、すべてのパラメーターは初期値を持ちます。最初の反復の後、モデル内のパラメーターは新しい値のバッチを取得し、このパラメーター値のバッチは 2 番目の反復の入力として使用されます。2 番目の反復を通じて、最適化されたパラメーター値のバッチが取得され、これらのパラメーター値は 3 番目の反復の入力として使用されます...このように、各反復を通じて、モデル内のパラメーターは最適なパラメーターのステップに近づきますステップごと... 1 回の反復 = バッチサイズ データの同じバッチの 1 回の順方向パス + 1 回の逆方向パス。
左から右、そして左へのすべてのデータがエポックです
エポック: トレーニング セット内のすべてのサンプルはトレーニング モデルを通過して 1 回戻ります (行きと戻りがあります)。これがエポックです。
知らせ：
一般に、ニューラル ネットワーク内のすべてのデータ セットを 1 回渡すだけでは十分ではありません。同じニューラル ネットワーク内のすべてのデータ セットを複数回、たとえば 20,000 回渡す必要があります。この回数も学習する必要があります。エポック数が多すぎると、過学習が発生しやすくなります。
例: 10000 トレーニング サンプル、バッチサイズが 20 に設定され、すべてのトレーニング サンプルが同じモデルで 5 回トレーニングされ、epoch=5、batchsize=20、iteration=10000/20=500 関連リソース: https://www.zhihu.com/question/65196241 プログラム: test_numpy.py_cycleGAN いくつかのエポックが適しています - インターネット ドキュメント
リソース-
CSDNライブラリ