その他の一般的なネットワーク

SE-ネット

チャネル方向に注意機構
ここに画像を挿入説明

プロセス
まず、特徴マップの画像の畳み込み演算は、グローバル平均プーリング（スクイーズ）は、1x1xC次いでFCの二層（励起）を介して、次のように、その初期の特徴マップを乗じたベクトルにそれを回します入力。
なぜFCプラス2
プラス2つのFC理由はつまり、彼は唯一の特徴マップ上のプールなかった場合、規模の唯一の現在の画像は、契約をしたが、本当の規模はそれほど追加するには、データセット全体の規模でありますFCは、彼がデータセット全体に適応してみましょう。
どの圧縮パラメータ
完全に接続されたのは、第二フルチャンネルC及び（シグモイド続く）を元に戻す背面に接続された演算（RELU続く）の量を減少させるためにC-Cチャンネル/ Rチャンネルに圧縮し、Rこれは、圧縮比を指します。
相互作用の深さ
励起フィーチャーのタイプの方法は無関係に、それによって共有下地表現を向上させる初期層、です。その後、より深い層は徐々に無効になります。

FCN

畳み込み
完全に接続へのヒートマップH'xWは、最後の層の畳み込み層、出力」である
画素レベルの分類
畳み込み
分割のために元の画像サイズにフィーチャーサイズを復元
スキップ層をホッピング
ため、サプリメントをプールする引き継ぐ前と後に多くの情報、特徴マップレイヤを失ったプーリングの最後の層の後に

RNNリカレントニューラルネットワーク

フォワード伝播

ここに画像を挿入説明

時間を通してBPTTのBP

ここに画像を挿入説明

RNN短期記憶の問題

マトリックスがされたとき、W復路×
取得逆転送におけるエラー、彼自身は、パラメータWが乗算される*は、各ステップでの機能の活性化誘導体。もしWは、0.9のように、1以上の数です。この連続エラーを掛け0.9、誤差は時間の最初のポイントに渡されますがゼロに数字近いですので、最初の時間のために、エラーと等価が消えた。我々は、この質問は、勾配が消滅または勾配拡散勾配消失と呼ばれて置く。逆に、 Wは、1.1と常に疲れ乗算として、1よりも数の多い、その後になって無限の数RNN Chengsi最後に、我々は一般的なRNNで爆発、の勾配と呼ばれ、その場合には、この無限の数は、古いリコールする方法はありませんメモリの原因。

勾配爆発を解決する方法

合理的な重みの初期値。各ニューロンは、勾配領域の消失を回避するために可能な最大値または最小値を取らないように、重みを初期化します。
代わりに、活性化としてreluシグモイド関数とTANHを使用します。ニューラルネットワークの活性化関数の畳み込み - 深い学習（4）上のゼロベースの入門記事の原則を参照してください。
そのようなメモリネットワーク（LTSM）の長さは、最も人気のあるアプローチであるゲーテッド再発ユニット（GRU）としての使用のRNN他の構造、。今後の記事で2つのネットワークを紹介します。
参考：
実現
 のコメント