古典的なカタログの深い学習ネットワークモデルの開発の歴史に戻ります
前：深さ記事-古典的な深い学習ネットワークモデルの開発の歴史（） グラフ構造と開発モデルの歴史についてLeNet-5の構造と機能
次へ：深さ記事-ディープ学習ネットワークモデルの古典的な歴史（c）の 精巧な構造とZF-ネットの特性
このセクション、AlexNet精巧な構造及び特性を、次のセクション精巧ZF-Netの構造との特性
論文住所：ディープ畳み込みニューラルネットワークとImageNet分類
II。ネットワーククラシック（クラシック・ネットワーク）
2. AlexNet
2012年には第二位以上ImageNet競争、AlexNet絶対的な優位性は、10.9％が一挙に勝ちました。それはしばしば言われる：2012年はAlexNetは繁栄し、画像奥行き学習から、判明しました。
（1）ネットワークの説明：
第一層がパディング同様であるので、上記ネットワークから、224x224〜227x227入力は、可能です
。新機能の（2）AlexNet：
①。ReLUが正常CNNの活性化関数として用い、シグモイド上深いネットワーク上でその効果を確認し、問題の成功した解像度は、シグモイド勾配拡散ネットワークに深くなります。さらに、ネットワークが高速飽和の非線形関数より勾配降下法、不飽和トレーニングの非線形関数を使用して訓練されるように、トレーニング速度を高速化すると、RELUシグモイド関数は、関数、操作量よりも簡単です。けれどもReLU活性化機能は繁栄するのに長い時間前に提案されたが、それのAlexNetまで。
②。ドロップアウトは、オーバーフィッティングモデルを回避するために、ニューロンのランダム無視一部を使用して訓練します。その効果を確認した実践によって、実用に言ったが、AlexNetドロップアウト、別の論文が。最後の数AlexNetでは、それは完全なリンク層は、ドロップアウトを使用する主な理由です。
③。CNNは最大重複プールで使用しました。前平均プールされた中CNNの普及に、AlexNetすべての使用の最大のプールは、ぼかし効果の平均プールを避けるために。そして、機能の豊富さを高めるために、オーバーラッププールの出力とカバー層との間に存在するように、細胞核の大きさよりも小さい妥協AlexNet片を提案しています。
④提案パーシャルレスポンスは、LRN（ローカル応答正規化、LRN）層は、Aに応答して比較的大きな値が比較的大きく小さくなる特徴、局所神経活動の競争メカニズムを作成するために、正規化および神経フィードバックを阻害します元モデルの汎化能力を強化します。
⑤。CUDAは、ニューラルネットワークのトレーニング行列演算の多数を処理する場合、計算能力、強力なGPUの並列を用いて、畳み込みネットワークを使用してトレーニングの深さを加速させました。AlexNetは、2つのGPU上に分布著者らは、パラメータが半分ニューロン各GPUのためにメモリに記憶されています
⑥。データ拡張
データ拡張は大幅データの量を増加させます。データの元の量に依存するいかなるデータの増強は、存在しない場合、CNNフィッティングを介して落下するパラメータの数は、データ拡張の使用を大幅に汎化能力を高める、オーバーフィッティングを低減することができます。予測は、5つの位置の全体の撮影画像の四隅が中間印加され、左右反転したときに、10枚の合計を受け、これらは構造の平均化を10回予測されます。
古典的なカタログの深い学習ネットワークモデルの開発の歴史に戻ります
前：深さ記事-古典的な深い学習ネットワークモデルの開発の歴史（） グラフ構造と開発モデルの歴史についてLeNet-5の構造と機能
次へ：深さ記事-ディープ学習ネットワークモデルの古典的な歴史（c）の 精巧な構造とZF-ネットの特性
