コンセプト:ステップ、反復、エポック、バッチサイズ

入門

ステップ、反復、エポック、バッチサイズ、学習率がトレーニングの面でモデルのためのものである、超パラメータ鉄道模型セットです。

サンプル

機械学習では、サンプルは、個々のデータの完全なデータセットの一部を指します。こうしたすべての被験者の結果の表として中学校の生徒の成績、特定のデジタル写真の手書きのデジタルデータ集合。

陽性サンプルは何ですか?

正しく分類され、いわゆるポジティブサンプルは、サンプルを対応するマルチカテゴリをしたいことをいいます。例えば、人は男性アバターの写真であるかどうかを判断します。そして、トレーニングデータは、時に男性の絵はポジティブサンプルと女性の写真その負のサンプルです。

また、反復として知られているステップ、

通常の反復として翻訳され、モデルの各反復パラメータが更新されます

時代

典型的には、翻訳された数字ホイールは、トレーニングデータセット(データ)入力モデル内のすべてのサンプルについての「ラウンド」(すなわち、列車)の数を意味します。

なぜ我々はより多くのエポックが必要なのでしょうか?

最適なモデル(最適な)のために、勾配降下訓練モデルのモデルパラメータの最適化により、複数のトレーニングセットする機種トレーニングデータが必要。小さすぎるエポックは、あまりフィット(underfitting)に(過剰適合)過剰適合にエポック大きすぎるリードをリードします。
ここに画像を挿入説明

適切には、どのように多くのエポックのですか?

問題は、正しい答えではありません。エポックの必要性は、アプリケーションとトレーニングセットに応じて、より適切な値を得ました。これは、以上の問題のパラメータを設定することが好ましいです。

2つのエポック間の関係は何ですか?

一つのエポックは、パラメータ(例えば:ニューラルネットワーク及びB W)をモデル化するであろう次のエポックに渡されます。
注:各エポックの後、トレーニングデータセットのシャッフルの必要性、そしてトレーニングの次のラウンドへ。

バッチサイズ

バッチ

バッチは、典型的に翻訳され、(トレーニングデータセットの一部である)トレーニングセットのサブセットを抽出する手段であっても損失関数(損失関数)場合、トレーニングモデルです。

なぜバッチ?

メモリ容量とメモリ効率の最適なバランスを見つけるために

バッチサイズ

通常、バッチサイズとして翻訳され、バッチ(バッチ)サンプル数(データ)であり、モデルのトレーニングに必要なサンプルの数を指します。

バッチサイズを設定するには?

ここに画像を挿入説明

  1. 確率的な図は、手段= 1 BATCHSIZE(ランダム)赤、試料と一度鉄道模型は、勾配の減少が更新します。このモデルのトレーニングモードを使用すると、確率的勾配降下法(SGD、確率的勾配法)と呼ばれています。このように、訓練は高速ですが、収束は良くありません。これは、収束を達成することがしばしば困難、フィギュアの仕方遅い収束速度から見ることができます。
  2. 一般的に間その値(青上図)確率(図赤上部)およびバッチ間でのBatchSize、呼ばれるミニバッチ(ミニ)上図の緑。入力サンプルは、全ての試料で生じる損失の平均値を算出し、モデルをBATCHSIZE。訓練のこのモデルを使用する方法は、ミニバッチ勾配法と呼ばれています
  3. 図バッチブルー(全バッチ)トレーニングデータセットをすべてのトレーニングを使用して、すべてのトレーニングセットサンプルの、BATCHSIZE手段、。訓練のこのモデルを使用する方法は、バッチ勾配降下(BGD、バッチ勾配法)と呼ばれています。データセットが小さい場合、全体のバッチがよく極端な値に向かって全体的なサンプル、より正確な勾配降下を表します。しかし、大規模な計算は、低速の計算は、オンライン学習をサポートしていません。ときにデータセットが大きいが、あまり効果的で、このアプローチを使用することはできません。
公開された10元の記事 ウォンの賞賛1 ビュー1212

おすすめ

転載: blog.csdn.net/miles_ye/article/details/104885783