ネットワークの深い理解AlexNet

　　画像分類の分野では言及する必要があり、大規模な視覚的ImageNetチャレンジ（ILSVRC）で、それが画像分類タスクの研究の進展の深さのベンチマーク調査と呼ばれています。AlexNetネットワークは、第2の性能優位性よりも10％高いが優勝をしたにILSVRC2012年大赛に参加しました。AlexNetネットワークもVGGNet、基盤とGoogLeNet、ResNet、DenseNet他の古典的なネットワークを開始しています。
　　畳み込み、完全で畳み込み、SAME Vaild畳み込み畳み込みの3つの一般的な方法があります。コンボリューションカーネルサイズの入力画像ピクセルの場合。有効な畳み込みを使用する場合、出力信号の大きさがある：
　　別の畳み込み畳み込みと同じ方法を使用して、出力信号の大きさがある：
　　深い畳み込みニューラルネットワークとimageNet分類等アレックスKrizhevskyはAlexNetネットワークを提案しました。Krizhevskyと訓練されたニューラルネットワークのトレーニング畳み込みImageNetのトレーニングセットを使用して他の2 GITX 580 3ギガバイトGPU、および高精度を実現しました。彼らはまた、ネットワークのより良いパフォーマンスを得ることができ、単に、より良いパフォーマンスGPUと大きなデータセットがあることを指摘しました。
　　この紙AlexNetネットワークで提案する5層の畳み込み層（最大細胞層に付着し、前記第一、第二、ボリュームラミネート）と層3完全に接続された層（最後の層を含むネットワーク層8、です1000道路ソフトマックス分類器）が含まれています。固定層における2基のGPU、GPU上AlexNetネットワークアロケーションは、データを交換します。均等に2つのGPUに平行クロス畳み込みの技術を用いて、その二つの同一のネットワーク構成のでGPU。図には示されていない分析のために全体として扱わ2つのGPUを選択し、図の構造は、参照図の第三は、パーシャルレスポンス動作と変化するサイズのデータ欠落に全く影響等正規化。畳み込み方法有効なを使用してネットワーク。最初の式の入力と出力の大きさとの関係、図を参照してください。
　　、第2〜第4及びV畳み込みは一つだけと接続畳み込みカーネルマッピングに同じGPU上に積層しました。第3の層は、すべてのコンボリューションカーネルをマッピングする第二の層に接続されたコンボリューションカーネルの畳み込みです。完全に前の層のニューロンの層を接続し、すべてのニューロンに接続されています。正規の操作に応答して、第1層と第2層とのコンボリューション後に行ってもよいです。これは、最大コンフルエント層が応答正規化層と畳み込みの第5の層を以下です。各層のRelu出力活性化関数の畳み込みは、完全に接続されます。
　　第一層96件の寸法11×11×3、畳み込みカーネルのステップ4を用いて、入力画像サイズ227×227×3の畳み込みです。ボリューム第二の畳み込み層積層入力として出力し、コンボリューションカーネル256の大きさは5×5×48の畳み込みを行います。第3、第4、Vは、任意のプーリング層または正規化層なしに互いに積層しました。第三の層は、第2の畳み込み畳み込み層（プールされた正規化された）出力、畳み込みカーネルの3×3×256の第三の層384畳み込みサイズに接続されています。サイズ3×3×192コンボリューションカーネルの積層体の3×3×192、及び256 Vの畳み込み第四の層384、コンボリューションカーネルサイズ。それぞれの層は完全に接続された4096個のニューロンを持っています。これは私が今まで見たAlexNetネットワークの最も簡潔な説明です。
　　SAMEコンボリューションを使用したネットワーク構造もあります。同一のネットワーク構成では、入力データのサイズが変わります。第四の図は、寸法変化のデータに正規化されたパーシャルレスポンス動作は、図示しないドロップアウト等に影響を与えません。
　　次のように詳細な分析は、図第5のデータフロー図CONV1相です。
　　本明細書で第一の畳み込み層、第1層及び正規化部分応答CONV1ステージ動作のプールが考えられます。第一層は、リサイズすることにより224×224×3イメージの固定サイズを得るために、入力画像の畳み込みです。次に、入力画像は11×11×3の畳み込み演算、コンボリューション法は、同一コンボリューションを選択されたコンボリューションカーネルを使用。各コンボリューションは、新しいピクセル上の特徴マップを生成し、原画像の画素の右下方向の畳み込みカーネルは、順次各移動ステップサイズが4つの画素で畳み込むれます。場合ゼロパディングゼロを使用して、原画像の不十分な画素があります。各行において、コンボリューションカーネル56の移動は、特徴マップにおける新しい画素、56×56行、図の原画像は畳み込みを特徴とした後に形成された画素点の列を生成します。図の中の56×56×96の大きさを与えることを特徴CONV1ステージ。これらはrelu図は、処理細胞の大きさは依然として56×56×96であります。細胞層の処理は、畳み込み特性の図は層の出力動作をプールしたです。ゼロパディング第1の畳み込み演算層方式と同様に、即ちSAME畳み込み。画像の出力幅または高さをプールした後、26個のピクセルです。すなわち、データのプールサイズ26×26×96の後。最後に、局所正規化処理に対応します。データのサイズは変更されません。畳み込みステージの他の層は省略類似CONV1ためCONV2データ入力出力段、及びプールコンボリューション処理が繰り返されます。
　　図ない。AlexNet第5のネットワークは、正規化されていない部分応答塗装作業を行うが、各プールにおける層の後に部分応答正規AlexNet層を有します。正規化の目的は、深めレベルのレイヤ情報を避け、層によって減少傾向層の出現につながる、ニューラルネットワークの収束速度を加速する上で役割を果たしています。しかし、近年の研究では、ニューラルネットワークの学習過程の部分応答正規化層を使用するので、徐々にもはや、少しの助けを果たしていないことを示しています。
　　第六の図は、データフロー図FC6ステージを分析しています。
　　AlexNet第6層は、完全に接続された層です。入力データサイズが7×7×256、及び同じサイズの畳み込み演算を有する畳み込み照合データです。入力7×7×256データサイズの各コンボリューションは、畳み込みの畳み込み演算結果を得ます。4096個のFC6層ニューロン、畳み込み演算の結果を出力する各ニューロン、畳み込み結果4096共通の出力の合計。Relu畳み込み結果は、活性化関数によって、及び、各ニューロンの50％を保持する、ランダム操作により不活性化。データのFC6最終出力段4096のサイズ。
　　操作FC6段階の過程で、プロセスで使用するコンボリューションカーネルのサイズの大きさを図に特徴付けられる。7×7×256、すなわち、各パラメータ図の位相特性の画素値のみを持つ畳み込みカーネルです。掛けます。他の層での畳み込みは、複数の画素値に対応するそれぞれのコンボリューションカーネル係数は、の起源は、完全接続層です。
　　効果的にオーバーフィッティングを防止することができます使用されるランダムな不活性化戦略第六図は、原則としては、各バッチの訓練なので、いくつかのランダムな中間層の神経要素が作業に参加しませんが、これらのニューロンの重みがまだありますそれは保持されています。ランダムな不活性化政策の結論は、ニューラルネットワークは、ニューロン間の相互依存を減らすことでパフォーマンスを向上させるということです。
　　FC7ステージとFC6同じステージ。FC6データ出力層ニューロン4096 FC7完全な接続とrelu活性化機能を介して、その後処理ライブデータ4096のランダムなサイズを介して出力します。FC7フルステージ10は、トレーニングクラスの確率値を出力目標後第8層ニューロンソフトマックス層10に接続されています。
　　AlexNetネットワーク畳み込みニューラルネットワークの一般的なデフォルト設定を設定するために、ネットワークによって使用される2 AlexNet、重要な最初の一に多くの項目がありますが、それはまだ広く使用されています。加えて、それはまた、大規模ネットワークCNNの大型高解像度のデータセットでトレーニングをサポートするのに十分な高度に最適化されたGPU 2次元畳み込み機能を実現するために研究を可能にします。
　　AlexNetネットワークは、非常に重要なマイルストーンを持っています。勾配降下訓練時には、飽和直鎖機能：TANHシグモイド関数または不飽和の線形関数の比の関数：長いReLU機能を有します。ReLU機能を使用してアクティベーション機能AlexNetネットワークは、トレーニングスピードニューラルネットワークを加速します。今ReLU深ネットワーク機能は、ほとんどデフォルトの活性化関数になります。、それはネットワークの多くを描いてきた上にフィットするトレーニングデータを防ぐために、データ拡張戦略と戦術ランダム不活性化（ドロップアウト）を使用します。連続コンボリューションコンコースのレベルと組み合わせAlexNetネットワーク、そして最終的に全体の方法接続層は、今日の最も先進的なネットワークの基盤残ります。