ハイパーパラメータ

1. モデルパラメータとハイパーパラメータの違い

モデルパラメータ (Parameter): モデルの内部構成変数であり、モデルはデータに基づいて変数を自動的に学習し、データに従って自身を駆動および調整できます。
たとえば、ディープラーニングの重みとバイアスです。
ハイパーパラメータ: これは、機械学習アルゴリズムの調整パラメータ (調整パラメータ) またはフレームワークパラメータでもあります。モデルの外部構成はデータによって駆動される必要はありませんが、トレーニング前またはトレーニング中に手動で設定および調整されます。確立された、または既存の経験に基づいた「正しい」値。異なるハイパーパラメータ、異なるモデル

機械学習で言われている「パラメータ調整」とは、実際には「パラメータ」を調整するのではなく、「ハイパーパラメータ」を調整することです。

2. 分類

(1) ネットワークパラメータ

1. ネットワーク層間の相互作用モード (加算、乗算、連結など)

2. コンボリューションカーネルの数とコンボリューションカーネルのサイズ

コンボリューションカーネルのカーネルパラメータはモデルパラメータです

3. ニューラルネットワーク層 (深さとも呼ばれる) 層

3.1 ディープニューラルネットワークの隠れ層の数

4. 隠れ層ニューロンの隠れユニットの数

5. 出力ニューロンのコーディング方法

6. ニューロン活性化機能

(2) パラメータの最適化

1. 学習率α（学習率）

1.1 学習率減衰パラメータ（学習率減衰）

2. バッチサンプル数（バッチサイズ）

(1) 説明:

大規模なバッチでは、行列と線形代数ライブラリを最大限に活用して計算を高速化できます。バッチが小さくなるほど、高速化の効果は明白ではなくなる可能性があります。
バッチが小さすぎると、更新が極小値になることもあります
バッチが大きすぎる場合、重みの更新頻度が低くなり、最適化プロセスに時間がかかります。

(2) 以下を選択します。

データセットのサイズとデバイスの計算能力に応じて選択してください。
したがって、許容できる (ただし必ずしも最適であるとは限らない) 他のハイパーパラメータ値を取得し、さまざまなミニバッチサイズを試してみてください。
プロット精度対時間 (これはループ数ではなく、実際の実行時間です)
パフォーマンスを迅速に向上させるために最小のバッチサイズを選択します。その後、他のハイパーパラメータの最適化を続けることができます。

3. さまざまなオプティマイザーのパラメーター

3.1 運動量勾配降下法アルゴリズムのパラメーター: $\beta$

3.2 Adagrad アルゴリズムのパラメーター: $\varepsilon$

3.3 Adadelta アルゴリズムのパラメーター: $\beta$ 、 $\バレプシロン$

3.4 Adam アルゴリズムのパラメータ: $\beta_{1}$ 、 $\beta_{2}$ 、 $\バレプシロン$

4. 損失関数とその調整可能なパラメータ

(3) 正則化パラメータ

1. 正則化係数η

η が増加すると重み w が小さくなり、ネットワークの複雑さが低下し、データへの適合が向上することを意味し、これは実際のアプリケーションでも検証されています。

2. 重量減衰係数

3. ドロップアウト

ドロップアウトは、
NN の隠れ層のニューロンの数を変更することで、NN の過学習を防ぎます。

(4) その他

1. 反復回数エポック

n での改善禁止ルール:

トレーニング中に最高の検証精度を記録します
連続 10 エポック (またはそれ以上) で最高の精度に達しない場合は、「もはや改善されていない」とみなして、この時点で早期停止を使用できます。
n はエポック数で、実際の状況に応じて 10、20、30... になります。

2. k最近傍法におけるk（最近接点の数）

3. K-means クラスタリングのクラスター数

4. デシジョンツリーモデルのツリーの数と深さ

5. 行列分解における潜在因子の数

6. クラスタリング手法のクラス数

7. トピックモデル内のトピックの数

8. 学習モデルのデータサイズ

プラン：

ソースからさらに多くのデータを収集する
元のデータをコピーしてランダムノイズを加える
再サンプリング
現在のデータセットに基づいてデータ分布のパラメータを推定し、その分布を使用してさらに多くのデータを生成します

3. ハイパーパラメータの調整

(1) 最適化の理由

基本的に、これは最適解を見つけるためのモデルの最適化と正則化項の関係です。ネットワークモデルの最適化と調整の目的は、大域的な最適解 (またはより優れた局所的な最適解) を見つけることであり、正則化項はモデルが可能な限り最適に適合することを期待します。通常、両者の間には一定の対立関係がありますが、両者の目標は同じ、つまり、予想されるリスクを最小限に抑えることです。モデルの最適化では経験的リスクを最小限に抑えたいと考えていますが、過学習に陥りやすいため、モデルの複雑さを制限するために正規項が使用されます。したがって、この 2 つの関係のバランスをどのように取って、最適またはより良い解決策を得るかが、ハイパーパラメータ調整の最適化の目的です。

なぜ学習率を調整する必要があるのですか?
学習率はモデルのトレーニングにおいて最も重要なハイパーパラメーターであると言えます。通常、1 つまたは一連の優れた学習率により、モデルのトレーニングが高速化されるだけでなく、より優れた、または最適な精度も得られます。学習率が大きすぎたり小さすぎたりすると、モデルの収束に直接影響します。モデルが特定のレベルまでトレーニングされると、損失はもう減少しなくなることがわかっています。この時点では、モデルの一次勾配はゼロに近く、通常、ヘッセ行列に対応する 2 つの状況が存在します。

正定値、つまり、すべての固有値が正です。このとき、通常、極小値が得られます。極小値が大域最小値に近い場合、モデルはすでに良好なパフォーマンスを獲得していますが、ギャップがある場合、大きい場合、モデルのパフォーマンスが良くありません。改善する必要があります。通常、トレーニングの開始時に後者が最も一般的です。

固有値は正と負の両方であり、このときモデルは鞍点に陥る可能性が高く、鞍点に陥るとモデルの性能が非常に低下します。

上記 2 つのケースでは、トレーニングの初期および中期において、この時点で学習率がまだ固定されていると、モデルが左右の振動または鞍点に陥ってしまい、最適化を続けることができなくなります。したがって、学習率の減衰または増加は、モデルが衝撃を効果的に軽減したり、鞍点から脱出したりするのに役立ちます。

(2) 最適化戦略

1. 気をつけてください（子守、試行錯誤とも呼ばれます）

フォローアップのアプローチは、試行錯誤法、または学術分野では大学院降下法として知られています。このアプローチは 100% 手動であり、学習プロセスのすべてのステップ (データ収集から特徴マップの視覚化まで) に従い、時間がなくなるか期限または動機がなくなるまでハイパーパラメーターを順番に繰り返します。

2. ハイパーパラメータの自動検索方法

例証します:

優れたデータ前処理
適切なモデルの構造と機能
優れたトレーニング戦略とハイパーパラメータ
適切な後処理
結果の厳密な分析。AutoML の役割は、効率的なモデル構築とハイパーパラメータ調整を促進することです。

2.1 グリッド検索/全数検索（グリッド検索）

各ハイパーパラメータのおおよその候補セットをリストし、これらのセットを項目ごとの組み合わせ最適化に使用します。

利点: より良い効果
欠点: 計算時間はハイパーパラメータの数に応じて指数関数的に増加するため、非効率的です。

2 種類のハイパーパラメータがある場合、各タイプのハイパーパラメータには調査対象の 3 つの値があり、それらのデカルト積の後、9 つのハイパーパラメータの組み合わせが得られます。

2.2 ランダム検索

ランダムなハイパーパラメータを生成するために、各ハイパーパラメータの分布関数を定義します。

利点: より効率的
短所: より良いハイパーパラメータが見つかるという保証はありません。

3.微回転

名前のとおり、パラメータを少し調整するだけで優れたパフォーマンスを得ることができます。

小規模なデータセットでは、通常、ゼロからトレーニングするよりも微調整する方がはるかに優れています。これは、より多くのパラメータをトレーニングすると、少量のデータの前提下では簡単に過学習につながる可能性があるためです。

(1) 方法：

最後に変更されたレイヤーには大きな学習率を使用し、未変更のレイヤーには小さな学習率を使用します。
最上位の変更されたレイヤーを除くすべてのレイヤーパラメーターをフリーズします

(2) 微調整で最初に最下層をフリーズし、最上層をトレーニングするのはなぜですか?

最上位層をトレーニングすると、最上位層の不適切な初期化が防止されます。
通常、下位レベルの機能はより一般的な機能であり、レベルが高いほど、全体的な高レベルのセマンティクスがより完全になります。

(3) データセットの微調整方法を選択するにはどうすればよいですか?

データは元のデータセットに似ています。最終出力層を変更してトレーニングするだけです。パラメータが多すぎると、簡単にオーバーフィットします。
データは元のデータセットとは大きく異なります。出力最上層の微調整が完了したら、微調整用に最上層から下半分までの層数を微調整します。

4. ベイズ最適化

(3) プロセス

まず、検索空間について先験的な仮定を立てます。つまり、ハイパーパラメータを選択する方法を仮定します。
その後、確率モデルを継続的に最適化して更新します。
最終的な目標は、検証セット上で誤差が最小のハイパーパラメータのセットを見つけることです。

(4) 学習率のチューニング

1. 理由

学習率はおそらく、モデルのトレーニングにとって最も重要なハイパーパラメーターです。通常、1 つまたは一連の優れた学習率により、モデルのトレーニングが高速化されるだけでなく、より優れた、または最適な精度も得られます。学習率が大きすぎたり小さすぎたりすると、モデルの収束に直接影響します。モデルが特定のレベルまでトレーニングされると、損失はもう減少しなくなることがわかっています。この時点では、モデルの一次勾配はゼロに近く、通常、ヘッセ行列に対応する 2 つの状況が存在します。

正定値、つまり、すべての固有値が正です。このとき、通常、極小値が得られます。極小値が大域最小値に近い場合、モデルはすでに良好なパフォーマンスを獲得していますが、ギャップがある場合、大きい場合、モデルのパフォーマンスが良くありません。改善する必要があります。通常、トレーニングの開始時に後者が最も一般的です。
固有値は正と負の両方であり、このときモデルは鞍点に陥る可能性が高く、鞍点に陥るとモデルの性能が非常に低下します。

上記 2 つのケースでは、トレーニングの初期および中期において、この時点で学習率がまだ固定されていると、モデルが左右の振動または鞍点に陥ってしまい、最適化を続けることができなくなります。したがって、学習率の減衰または増加は、モデルが衝撃を効果的に軽減したり、鞍点から脱出したりするのに役立ちます。

2. 説明:

他のハイパーパラメーターは、テストセットの最終的な分類精度を向上させることを目的としているため、精度に基づいて選択されます。
ただし、学習率が最終的な分類精度に影響を与えるのはごくまれです。
その主な目的は、勾配降下法におけるステップサイズを制御することであり、コストを監視することは、ステップサイズが大きすぎるかどうかを検出する最良の方法です。
最後に、トレーニングの初期段階では、高い精度は低い分散を意味する傾向があるため、この 2 つに大きな違いはありません。

3. 自動調整:

トレーニングプロセス中に最高の精度を記録します。最高の精度が 10 回連続 (またはそれ以上) エポックに達しない場合、「これ以上の改善は見られない」と見なすことができます。
学習率を半分 (または 1/10) にすることを選択して、プログラムを実行し続けることができます。
学習率が元の 1/1024 になるまでこのプロセスを継続し、プログラムを終了します。

4. テンソルフロー調整戦略

（1）指数関数的減衰

指数関数的減衰は最も一般的に使用される減衰方法です
この方法はシンプルで簡単です
トレーニングの初期段階で大きな減衰は収束に役立ち、後期の小さな減衰は微調整に役立ちます。

（2）区分定数

段階的に学習率を設定する方法
異なる段階で異なる学習率を手動で設定可能
この学習率は微調整に重点を置いています

（3）多項式_減衰

べき乗が 1 未満の場合は 1/べき乗、つまり青い線、べき乗が 1 より大きい場合は緑の線になります。
サイクル（cycle）下がった後に再び上がるかどうかを決定するプロセス

5. 差分学習

トレーニング中にネットワーク内のさまざまな層に異なる学習率を設定する方法は、差分学習と呼ばれます。

ここに画像の説明を挿入

最初の数レイヤーには、通常、線やエッジなどの非常に細かいデータが含まれますが、これらは変更されることが予想されず、情報が保持される傾向があります。
対照的に、図の緑色のレイヤーなど、後のレイヤーでは、口、鼻などの詳細な特徴を維持することなく取得できます。