Datawhaleがコールを学んで参照するにはハウスの家は、グループが牛を散りばめたグループの部門で非常に大きな仏像を見つけ、旅を学ぶ白い深さを震え始めました。Datawhale、ボーゆう教育、科学技術やクジラ、感謝のカリキュラムメーカー、主催者、アシスタントや他のボランティアをありがとう！
1つのバッチの正規化と残留ネットワーク
1.1バッチ正規化
正規化：主に浅いモデル。入力データは、全てのサンプルのデータセット内の任意の特徴は、0と標準偏差1を意味するように、処理されます。このデータ入力は、学習に影響を与える別の分布を避け、さまざまな機能の分布と類似しています。
バッチ正規化：主に深モデルに。前の層の出力は、モデル全体がより安定しているように、中間出力の分布を調整するために正規化されます。学習前に分布層の破壊を避けるために特徴付けられる、再構成を変更することで、学習パラメータに導入することができます。
バルク層は完全に正規化されたアフィン変換及び活性化関数との間に接続されます。
活性化関数が適用される前にバルク層は、畳み込み演算後の畳み込みを正規化。畳み込み単一チャネル、同じ平均と分散と、パラメータ学習の同じセットを使用して、チャネル要素、複数の出力チャネル畳み込み演算であれば、私たちはこれらのチャネルの出力の大部分を行う必要があるが、正規化され、そして各チャネルは、別々の図面及びオフセットのパラメータを有しています。
バッチ訓練でユニット、各バッチの平均と分散を計算するステップと、サンプル平均値の平均推定分散及び全体のトレーニングデータセットは、予備実験によって移動されます。
1.2残留ネットワーク
ネットワークは、一定の深さに達した後、盲目的層の数を増やし、分類性能を向上させるさらにもたらすことはできないが、ネットワーク・コンバージェンスにつながる遅くなり、精度が悪くなる：ボトルネックがある深い学習。
畳み込みネットワークに基づいて残留ネットワーク（ResNet）、データ伝播がクロスレイヤ残差ブロックでデータの迅速な普及を達成され、モデルは勾配の場合に回避することができる速度及び精度を向上させるために、そのような深さが大きくなるなどの問題が消えます。
密なネットワーク接続（DenseNet）主に密なブロックから構成され、組成物を緩衝液。緻密ブロック入出力、制御チャネル遷移の数、それが大きすぎないこと。主な違いはResNet DenseNetであり、DenseNet出力モジュールBとモジュールにResNet A好きではなかった追加が、接続通路の寸法れます。モジュールは、出力を直接受信モジュールB層の背後にすることができます。この設計では、モジュールA直接モジュールBの背後にあるすべての層が一緒に接続されています。
