再学習されたディープラーニングノート
出典｜ Sophia @知识、https：//zhuanlan.zhihu.com/p/152362317
この記事は学術的な共有のみを目的としています。侵害がある場合は、背景に連絡して記事を削除してください
8.ハイパーパラメーター
以下は、ハイパーパラメーターを紹介するインフォグラフィックです。ハイパーパラメーターは、モデルのパフォーマンスを直接改善できるため、ニューラルネットワークで重要な役割を果たします。
学習率、ニューラルネットワークの隠れた単位の数、バッチサイズ、レベルの数、正則化係数などのハイパーパラメーターは、モデルのパフォーマンスに直接影響する可能性があることはよく知られており、調整方法は非常に重要です。現在、最も一般的な方法はパラメーターを手動で調整することです。開発者は、独自のモデリング経験に基づいて「妥当な」ハイパーパラメーターを選択し、モデルのパフォーマンスに基づいていくつかの小さな調整を行います。ただし、確率的プロセスやベイジアン最適化などの自動パラメーター調整は、依然として非常に大量の計算を必要とし、比較的非効率的です。ただし、強化学習、遺伝的アルゴリズム、およびニューラルネットワークを使用してハイパーパラメータを検索することには大きな進歩があり、研究者は効率的で正確な方法を探しています。
現在のハイパーパラメータ検索方法は次のとおりです。
経験に頼る：直感に耳を傾け、適切に感じるはずのパラメータを設定し、それが機能するかどうかを確認して、飽きるまで試してください。
グリッド検索：コンピューターに、特定の範囲内のいくつかの均等に分散された値を試させます。
ランダム検索：コンピューターにランダムな値を試させて、うまく機能するかどうかを確認します。
ベイジアン最適化：MATLAB bayesoptと同様のツールを使用して、最適なパラメーターを自動的に選択します。ベイジアン最適化には、独自の機械学習アルゴリズムよりも多くのハイパーパラメーターがあることがわかります。私はそれが好きではありません。経験とグリッドに依存することに戻ります。検索方法が上がります。
スペースが限られているため、以下のプレゼンテーションではインフォグラフィックを簡単に紹介するだけですが、読者にとって非常に役立つと思います。
9.構造化機械学習プロセス
プロセスや構造に応じて機械学習システムをセットアップする必要がありますまず、予想されるパフォーマンスや測定方法など、モデルが達成すべき目標を設定する必要があります。次に、トレーニング、開発、およびテストセットを分割し、達成できる最適化レベルを予測します。その後、モデルが構築およびトレーニングされ、開発セットとテストセットが検証された後、推論に使用できます。
10.エラー分析
トレーニングが完了したら、エラーの原因を分析して、誤ったラベル、誤った損失関数などを見つけ、パフォーマンスを改善できます。
11.トレーニングセット、開発セット、テストセット
上の図は、3つのセグメンテーションデータセットと注意が必要なポイントを示しています。つまり、それらのデータセットの精度が異なる場合、これらの「差異」をどのように修正すればよいでしょうか。たとえば、トレーニングセットの精度は、検証セットおよびテストセットの精度よりもはるかに高く、モデルが過剰適合していることを示しています。3つのデータセットの精度は許容レベルよりも大幅に低く、これは適合不足が原因である可能性があります。
12.その他の学習方法
もちろん、機械学習とディープラーニングは、教師あり学習方法だけでなく、転移学習、マルチタスク学習、エンドツーエンド学習でもあります。
未完成。