いくつかの知識は、この記事のAlextNetを紹介し、この知識はしばしば見過ごされています
技術革新の、AlextNet
（1）CNN ReLU活性化関数として成功裏に使用され、シグモイドより深いネットワーク上の効果を検証し、成功ネットワークシグモイド勾配深い拡散の問題を解決しました。ReLU活性化機能は、ずっと前に提案されますが、だけAlexNetの出現を繰り越すことまで。
Reluは、以下使用する利点：
良い誘導体、計算速度向上するように1>正の軸の関数として増加し、
2>は、正の軸と同一の機能を比較シグモイド関数の勾配を消散しないように、上昇させます
> 0 3ので、ネットワークの希薄増加、負の車軸である
4>直鎖状
使用ドロップアウトランダム（2）オーバーフィットモデルを防止するための訓練を、ニューロンの一部を無視しました。実用化への個別ディスカッション・ペーパーもののドロップアウト、しかしAlexNet、実際は、その結果によって確認されました。最後の数AlexNetでは、それは完全なリンク層は、ドロップアウトを使用する主な理由です。
1>過学習理由を防止することができるドロップアウトが原因で、ときにドロップアウトアウトいくつかのニューロン等価フォワード伝搬異なるネットワークの方向が逆であり、全体のプロセスは異なるニューラルネットワークが取る複数のドロップアウトと同等です反対方向をフィッティングの平均数は、互いに相殺します
（3）CNNのプールの最大重複を用いました。プールされた平均でCNNの普及する前は、AlexNetすべてが最大のプールを使用すると、ぼかし効果の平均プールを防ぐために。機能の豊富さを高めるために、プールの出力とカバー層との間に重複があるようにAlexNetは、細胞核の大きさよりも長い小さい得た提案しました。
（4）応答比較的大きな値がニューロンの比較的大きく、小さい他のフィードバック阻害となり、モデルの汎化能力を向上させるれ、局所神経活動の競争メカニズムを作成し、LRN層を提案しています。
ニューラルネットワークの訓練行列演算の多くを処理する場合（5）CUDAを用いた畳み込みの深さは、強力なGPUの並列コンピューティングパワーを使用して、ネットワークの訓練を加速しました。トレーニングのための2つのGTX 580 GPUを用いAlexNet、ネットワークの最大サイズを制限する唯一のGTX 580 3ギガバイトのメモリは、訓練することができます。著者はAlexNet 2基のGPU、それぞれのGPUのためのメモリ内のニューロンの記憶域パラメータ半分に配布されます。そのため、GPU間の容易さの通信のため、各アクセス・メモリは、ホストメモリを経由せずに、その複数のGPUを使用することは非常に効率的です。一方、AlexNetは、ネットワークの特定の層、制御通信の性能損失にGPUとの間の通信を行うように設計します。
（6）256からランダムデータを高め、原画像に取り込ま224 256 2 *の増加（256から224）=データの2 ^ 2048倍の量を表す、領域サイズ224（水平フリップミラー）。データの元の量に依存するいかなるデータの増強は、存在しない場合、CNNは、拡張後のデータを用いて、オーバーフィッティングに分類されるパラメータの数が大幅に汎化能力を高める、オーバーフィッティング低減することができます。予測は、それが四隅プラス真ん中の絵は、5つの位置の合計を取り、そして周りの裏返しであるとき、彼らは10倍を予測し、その結果を平均して、10枚の合計を獲得しました。一方、RGB画像データと呼ぶAlexNet紙がPCAに処理され、主成分は、ガウス外乱の0.1の標準偏差を作るいくつかのノイズを追加し、エラーレートを作ることができ、このトリックはさらに1％減少しました。
第二に、オーバーフィッティングとunderfitting方法防ぐために、
1、抗オーバーフィッティング
（1）学習サンプル増加
（2）を添加した正則化を
（3）ドロップアウト
（4）事前に停止します
2、抗underfitting
（1）請求プラス
（2）を加えた多項式の数
（3）正規化係数を減少させます
第三に、トレーニングステップ
画像入力----> ----画像特徴抽出>順方向伝搬及び逆伝播---->予測
第四に、プール内の同じ、VALID使用を学び、CONV
V.その他
リンクの数を算出し、5つの既知AlexNet畳み込み層、層2の完全なリンク、世界最大のプールを使用して、ドロップアウト、オーバーフィッティングデータの拡張を防ぐがあります
最後の質問
コンボリューションカーネルはどのようにカウントするのですか？どのように視覚的なコンボリューションカーネルのコンボリューションカーネルであることを（注意深く見ます）