この記事では、通訳と要約論文「ディープ畳み込みニューラルネットワークとImageNet分類」です。論文は、著者アレックスKrizhevsky、NIPS2012に掲載された日に2012年から発行され、親グループヒントンニューラルネットワークに属して、30,000以上の言及があり、それは古典的です。AlexNet ISVRC2012（ImageNet大規模視覚認識コンテスト）まず、従来の方法に比べて第二の場所よりもはるかに15.3％のTOP5試験誤り率で得られ、AlexNetが大きな利点を反映しても学習の深さは再びカスプにもたらされるようにAlexNetは、誕生しました。
これは、元の論文の翻訳ではなく、紙で提案したアイデアや方法の多くは、まだ使用中であるが、古典的なニューラルネットワークの後続の各誕生のためのガイドラインを提供しているの主なポイントの要約を行います。
1.ネットワーク構造
このネットワーク図は、それがどこにでも見える今言うことができます。5層コンバージョン+プール、2層FC、1層のソフトマックス。
1.1履歴書
AlexNet ReLUは、伝統的な活性化関数の代わりに使用し、ReLUは現在広く、CNN構造の様々な使用されてきたどこにでも記載されており、活性化関数の比較の概念は、ボーエンまた、ブロガーに見出すことができる：一般的な活性化機能を対照的。
以上の1.2 GPUの並列トレーニング
GPUメモリは、ネットワークのサイズを制限するので、ネットワークは、2基のGPU、並列トレーニングに広がるであろう。次いで、グラフィックスメモリのAlexNet使用が3Gのみであるので、この戦略を使用する（もちろん、二つの平行なGPUが特定の段階で相互に通信する必要性から完全に分離されています）。さて、ハードウェアの開発と、モデルのトレーニングは良い改善されています。
1.3標準化パーシャルレスポンス
ReLUは、良好な特性は、それが飽和を防ぐために、入力の正規化を必要としないことである持っています。限り正の入力ニューロンと、ニューロンは学習において役割を果たすことができます。しかし、一つのことは、地元の正規化は、ヘルプ一般化したものです。論文に与えられた特定の標準化された式は、ここではありません焦点を当てています。著者は、紙に注意し、この標準化を使用し、トップ-1トップ5と誤り率が減少しています。
重複プールの1.4
プーリングは重ならない一般的であるが、プールされたときに重なっている使用プーリングAlexNetは、それは、各ステップの移動は、プールの辺の長さ未満です。正方形3×3のAlexNetプールサイズ、各プールした移動ステップが2であるので、重複が存在することになります。効果的に過剰適合を軽減しながら、プログラムはまた、誤り率とトップ1トップ5を減少させます。
2.オーバーフィットの削減
パラメータ6000万のAlexNetの数は、オーバーフィッティングの問題を低減する必要があります
2.1データのアップグレード
アレックス・データは256×256と224x224ランダム水平ミラーからの画像ブロックによって設定されたデータのダイバーシティを増加させるために、2つの画像がトリミングされて強化する方法および水平鏡画像処理を使用します。画像の抽出のサイズは、それが224x224になるように、さらに総ミラー部10（パッチ）の結果を含む、224×224のテストセットと中間画像の四隅の一部を抽出し、また、わずかにテストデータを変更する必要がありますこれらの試験結果は、最終的なテスト結果としてテストセット画像の10の入力の平均を行います。
第二の方法は、筋力トレーニング画像のRGBチャンネルを強化するためにデータを変更することで、PCAは、すべてのRGB画素値ImageNetトレーニング画像に対して行われます。主成分の一定割合に列車の各画像を見つけるためにさらに追加します。アレックスは述べたように、この方法は、効果的にトップ1の誤り率を低下させます。
2.2ドロップアウト
ドロップアウトの場合は、現在広く様々なCNNネットワークで使用される、本当に古典的な、それは統合モデルに効果的なアプローチです。ドロップアウトは、一時的にネットワークからドロップ特定の確率に従って、ニューラルネットワーク部、深度学習ネットワークトレーニングプロセスを指します。ランダムに廃棄し、従って各異なるネットワークにおけるミニバッチ訓練のため、確率的勾配降下法のために、一時的ことに留意されたいです。ドロップアウトドロップアウト率の選択について、なぜ効果的な説明、専用の研究論文があり、ブロガーは、今後の記事で個別に更新されますので、お楽しみに！
AlexNetについて、他のトレーニングの詳細と機能がありますが、今より一般的な持っているため、ここではそれらを繰り返すありません。アレックスはまた、論文で指摘され、深さはAlexNetのいずれかの層を除去することが非常に重要である、パフォーマンスが低下します。だから、よく知られたAlexNetネットワーク構造の数が誕生した後、両方の深さと努力のネットワークダウン、より多くのネットワークの解釈なので、お楽しみに！
オリジナル：https://blog.csdn.net/huangfei711/article/details/80421705