記事の目的: 畳み込みニューラル ネットワーク レベルの継続的な深化によってもたらされる複雑さを解決する方法を検討し、議論し、最適化が困難で容易な過学習の問題を解決すること。
畳み込み層構造: 最初の層はエッジ曲線などの低レベルの特徴を検出するために使用され、より深い畳み込み層は複雑な特徴を検出するために使用されます。複数の畳み込み層とプール層を積み重ねることにより、より複雑な特徴を検出できます。徐々に抽出される
全結合層: (1x1 畳み込み層) 前の層のすべてのニューロンを現在の各ニューロンに接続します。
ニューラル ネットワークのトレーニングは大域的な最適化問題であり、損失関数を最小化することで最適なパラメーター セットを見つけることができ、最適化には通常、勾配降下法が使用されます。
畳み込みニューラル ネットワークの最適化
畳み込み演算
-
まばらな相互作用
コンボリューションカーネルの受容野は異なり、学習の局所相関によりパラメータの数を減らすことができます
-
パラメータの共有
畳み込みカーネルは、機能マップを左から右、上から下に移動します。重み共有によりモデルの複雑さが軽減され、マジック シェイプのトレーニングが容易になります。
-
同変表現
ニューラルネットワークは翻訳と同等です
畳み込みニューラル ネットワークの構造は、畳み込み層、プーリング層、全結合層に分かれています。
-
畳み込み層
コンボリューション カーネルを通じて入力特徴を抽出します。入力層とコンボリューション カーネルがコンボリューション演算を実行した後、新しい特徴マップが取得されます。
プーリング層
**卷积神经网络优化：卷积层、池化层、激活函数、损失函数、正则化和优化**
畳み込み層:
通常の畳み込み
転置コンボリューション（デコンボリューション）：アップサンプリング後のコンボリューション演算
拡張コンボリューション: ハイパーパラメーターを導入して受容野を拡張します。
NIN: コンボリューション カーネルを変更し、コンボリューション カーネルを MLP (多層パーセプトロン) などのマイクロネットワークに置き換えます。
インセプション モジュール: NIN をさらに拡張するには、可変フィルター サイズを使用して最適なスパース構造を近似し、計算の複雑さを増すことなく CNN の深さと幅を増やします。
プーリング層
Lp プーリング: 平均プーリング (p = 1) 最大プーリング (p=∞)
混合プーリング: ランダム値 λ によって平均プーリング (0) または最大プーリング (1) が決定され、順方向パス中に λ が記録され、逆伝播に使用されます。
ランダム プーリング: 確率は、ランダムなコンポーネントによって引き起こされる過剰適合を回避するために、活性化領域に従って正規化されます。
スペクトルプーリング: 同じ出力次元により多くの情報を保持し、計算量を削減します。
Spatial Pyramid Pooling (SPP): 入力とは関係のない固定の受容野を生成します。
マルチスケール無秩序プーリング (MOP): より豊富な詳細と強化された特徴の不変性
活性化関数
ReLu: 区分線形関数。負の部分を 0 にし、正の部分を保持します。これにより、ディープ ネットワークをより効果的にトレーニングできます。
Leaky ReLu: ReL は、勾配ベースの最適化中に非アクティブなユニットを無視し、非アクティブなユニットの永遠のゼロ勾配が原因でトレーニング時間が増加する可能性があります。Leaky ReLu は負の部分を 0 にマッピングするのではなく、事前定義されたパラメータによって圧縮し、非アクティブなユニットの勾配がゼロ以外になるようにします。
PReLU: 適応学習パラメータを導入し、導入される追加パラメータの数がネットワーク内のチャネル数と同じであり、過剰適合の追加リスクがなく、計算量が少なく、他のパラメータと同時に学習することもできます。バックプロパゲーションによるパラメータ。
RReLu: 負の部分のパラメータは一様分布からランダムにサンプリングされ、ランダム性による過学習を軽減できます。
ELU: インデックス付き線形ユニットはディープ ニューラル ネットワークをより速く学習し、より高い分類精度につながります。飽和した負の部分はユニットの変更を減らし、より堅牢になります。
Maxout: 複数のチャネルで最大の応答が得られる非線形関数で、ReLu の利点があり、Dropout を使用したトレーニングに適しています
実証: 確率計算値は最大値演算に代わるもので、最大単位の理想的な特性を維持し、不変性を向上させるという利点がありますが、確率の導入により同時に計算が複雑になります。
損失関数
ヒンジ損失: サポート ベクター マシンなどの大規模な分類器のトレーニング。
ソフトマックス損失: 予測値を非負の値に変換し、正規化してクラスの確率分布を取得します。
対比損失: マッチングペアに影響を与えるために、別の限界パラメーターが追加されます。ニューラルネットワーク層の損失を計算する代わりに、各層の対照的な損失 l が定義され、単一層の損失の逆伝播が同時に実行されます。
三重項損失：
KLD: VAE にはエンコードおよびデコードのプロセスが含まれており、KLD は目的関数における情報損失の方法に広く使用されています。
正則化
正則化の目的は過剰適合を減らすことです
lp-norm 正則化: 正則化の強度を変更することで損失関数を変更します。
ドロップアウト: 過学習を減らし、入力要素への依存を減らし、情報が欠落している場合にも識別できます。
DropConnect: ニューロンの出力をランダムにゼロに設定する代わりに、DropConnect は重み行列 W の要素をランダムにゼロに設定します。
最適化
データ拡張: 既存のデータを処理してデータセットを拡張する
重みの初期化: 高速な収束を実現し、勾配の消失を回避します。
確率的勾配降下法: 逆伝播アルゴリズムは、勾配降下法を使用してパラメータを更新するための標準的なトレーニング方法です。
BN: ディープ畳み込みニューラル ネットワークの勾配消失問題を緩和し、ネットワークの過剰適合を防ぎます。これにより、内部共変量シフトが減少します。第 2 に、BN は、パラメータのスケールまたはその初期値に対する勾配の依存性を軽減します。これは、ネットワークを通る勾配の流れに有利な影響を与えます。これにより、発散のリスクなしに、より高い学習率を使用することが可能になります。さらに、BN はモデルを正規化し、ドロップアウトの必要性を減らします。最後に、BN を使用すると、飽和したモデルに囚われることなく、飽和した非線形活性化関数を使用できるようになります。
高速処理
FFT：
構造化変換: 低ランク行列分解を深い畳み込みニューラル ネットワークに適用してトレーニング時間を短縮するだけでなく、特異値分解などのメソッドも適用します。
低精度: ニューラル ネットワークを 2 値化し、入力結果をバイナリ値に制限し、ニューラル ネットワークの計算の冗長性を削減します。
スパース畳み込み: 少数のトレーニング サンプルが学習に使用され、少数の反復で精度が高くなります。