詳細なネットワーク構造Resnet-50

問題を解決するには

  勾配が消滅として、深いウェブは訓練することは困難です。表層に勾配バックプロパゲーションので、勾配は、乗算微小繰り返し行うことができます。その結果、ネットワークのより深い層で、その性能が飽和する傾向があり、あるいは急速に低下する、ということです。

核となるアイデア:

  ショートカットアイデンティティを導入(また、ジャンプケーブルと呼ばれる)、1つ以上の層をスキップ。図A

 

      図I

  

場合深いレベル勾配原因ネットワークが消滅し、このジャンプケーブル、F(X)= 0、Y = G(X)= relu(X)= X

1.このようなネットワーク上の積層構造でも勾配が消えた場合、私は何かを学び、少なくともではないので、過去にオリジナルのアイデンティティ・マップ、浅いネットワーク上の「コピー層」のスタックの同等の、のような私は少なくとも見て浅いネットワークよりも悪いです。

2.ケースで私が誤って何かを学んだ私は、確率に多くのことを学んだので、それは、IしばしばIDマッピングするので、大きなになるだろう。

なぜ残留構造について(すなわち、ジャンプの後に複数の接続線)をある程度緩和理由勾配損失の数学的導出。

 

 合計が同じサイズを添加することができるされたとき、場合、上述したように同じ大きさのサイズが同じでない場合

 

 Resnet-18、Resnet-50、等いわゆる、何も異なる層、示されるように、従来のものであり、Resnet-50 101

 

 

 

おすすめ

転載: www.cnblogs.com/qianchaomoon/p/12315906.html