問題を解決するには:
勾配が消滅として、深いウェブは訓練することは困難です。表層に勾配バックプロパゲーションので、勾配は、乗算微小繰り返し行うことができます。その結果、ネットワークのより深い層で、その性能が飽和する傾向があり、あるいは急速に低下する、ということです。
核となるアイデア:
ショートカットアイデンティティを導入(また、ジャンプケーブルと呼ばれる)、1つ以上の層をスキップ。図A
図I
場合深いレベル勾配原因ネットワークが消滅し、このジャンプケーブル、F(X)= 0、Y = G(X)= relu(X)= X
1.このようなネットワーク上の積層構造でも勾配が消えた場合、私は何かを学び、少なくともではないので、過去にオリジナルのアイデンティティ・マップ、浅いネットワーク上の「コピー層」のスタックの同等の、のような私は少なくとも見て浅いネットワークよりも悪いです。
2.ケースで私が誤って何かを学んだ私は、確率に多くのことを学んだので、それは、IしばしばIDマッピングするので、大きなになるだろう。
なぜ残留構造について(すなわち、ジャンプの後に複数の接続線)をある程度緩和理由勾配損失の数学的導出。
合計が同じサイズを添加することができるされたとき、場合、上述したように同じ大きさのサイズが同じでない場合、
Resnet-18、Resnet-50、等いわゆる、何も異なる層、示されるように、従来のものであり、Resnet-50 101