高度なコンボリューションニューラルネットワーク
完全に接続された層を使用する場合の制限：
- 同じ列の隣接するピクセルの画像は離れて、このベクターであってもよいです。彼らは、パターン認識モデルが困難な場合がある構成します。
- 接続層の完全なモデルを用いて、入力画像のサイズが大きいため、容易に大きすぎにつながります。
畳み込み層を使用する利点：
- コンボリューション入力形状保持層。
- 入力層の畳み込みは、同一の畳み込み演算とスライディングウィンドウによって形成されるオーバーサイズパラメータを避けるために、異なる位置で繰り返されます。
LeNet
2つの部分にLeNet層ブロックとコンボリューションブロック層は、完全に画像分類のために、次いで交互層と最大プール畳み込み層が完全に接続層を接続します。我々の下にはこれら二つのモジュールについて説明します。
基本単位電池層の平均アクセス層畳み込みにおけるレイヤブロック畳み込み：畳み込み層は、線およびローカルオブジェクトのような空間パターンで画像を識別するのに役立つ、層後の平均細胞層は畳み込みを低減するために使用されます位置の感度。
二つのそのような基本単位の階層ブロックコンボリューションを繰り返し設定を積層されています。レイヤブロック畳み込み、各層の用途における畳み込み\（5 \回5 \）ウィンドウの、シグモイド活性化関数と出力を使用。最初の畳み込み層出力チャネルは、第二の畳み込み層16への出力チャンネルの数を増加させ、6です。
完全に接続されたレイヤブロックが完全に接続3層を含みます。10は、出力クラスの数が出力数、そのそれぞれ120,84及び10、。
LeNet：大規模なデータセットのパフォーマンスは、顔の意味として本当行いません。
1.ニューラルネットワーク計算の複雑。
2. STARTまだ深い研究ズーム量パラメータの初期化と便利な凸最適化アルゴリズムや他の多くの分野で提供されます。
AlexNet
初めてその学習は⼯デザインは、コンピュータビジョンの研究のような動きを壊す前に、⼀ので、特徴、時計の機能を超えて行くことができる証明しました。
特長：
- 完全に接続された畳み込み層5と完全に接続されたレイヤ2隠れ層、および出力層を有する変換層8、。
- 単純ReLU活性化関数にシグモイド活性化関数。
- ドロップアウトは全体の接続層モデルの複雑さを制御するために使用します。
- 一層オーバーフィッティングを容易にするためにデータセットを拡張するような反転、トリミングや色変化などのデータ拡張の導入、。
重複するネットワーク要素（VGG）
VGG：繰り返し使用奥行きモデルを構築し、簡単な基本ブロックを作ることもできます。
ブロック：充填された1の同じ数、ウィンドウの形状\（3 \回3 \） 2のストライド、窓の形状に接続された畳み込み層、\（2 \ 2回\）最大セル層。
コンボリューション層はそのまま入力の高さと幅のまま、および細胞層はその半分です。
オープンネットワークのオープンネットワーク（NiN-）
LeNet、AlexNet及びVGG：最初の畳み込み層からなるモジュールが十分に抽出された特徴空間は、モジュールは、完全なレイヤ分類結果を介して接続されて出力されます。
NIN：畳み込み層及び一連の複数の「完全に接続された」小オープンネットワークが⼀深いオープンネットワークからなる層を構築しました。
出力チャンネルの数を使用して直接使用する分類に各チャネルの平均層のすべての要素の平均グローバルプールを使用し、その後、ブロックNINカテゴリラベルの数に等しいです。
1×1核畳み込み
チャネルをグレーディング1：チャネルの数を制御することにより、ズームの畳み込みカーネルに達します。
2.増加の非線形。畳み込み演算処理に1×1コンボリューション処理と同等の完全層を接続され、またそれによって非線形ネットワークを増加させる、非線形活性化関数を追加します。
3.計算少ないパラメータ
繰り返し代わり深いオープンネットワークを構築するために畳み込みからなる1×1 NIN層の全ブロックの畳み込みNIN層と接続層を使用。
NINは、完全な接続金具を介して出力層原因容易に除去ではなく、出力チャンネル数と交換するブロックの数とグローバルカテゴリラベルNIN平均細胞層に等しいです。
NIN後の設計畳み込み神経の広い範囲へのオープンなネットワーク上のデザインのアイデアは⾯に影響を与えました。
GoogLeNet
- ベースブロックによるインセプション。
- インセプション⼀4つのサブメニューを開くネットワークとのラインに対応するブロック。そして⾏その情報層と畳み込み層を抽出するが、異なるウィンドウ形状の最大プールであり、使用は1×1の畳み込み層は、モデルの複雑さを軽減するためにチャネルの数を減少させます。
- カスタム超パラメータは、我々のモデルの複雑さを制御するために、それぞれの層の出力チャネルの数です。
完全なモデル構造
