Li Hongyiのディープラーニングノート（12）RNN（リカレントニューラルネットワーク）

1.単純なリカレントニューラルネットワーク

上の図に示すように、最初に入力シーケンスの最初のノードを配置します（入力シーケンス） $\ begin {bmatrix} 1 \\ 1 \ end {bmatrix}$図のオレンジ色のボックス内にある、上図に示すメモリネットワークのシンプルバージョンを入力します。青いボックスは最後の時点で計算された情報を格納するメモリユニットで、これは最初の時点であるため、最初に青いボックスに初期値が割り当てられます。 $\ begin {bmatrix} 0 \\ 0 \ end {bmatrix}$。そして、すべての活性化関数の重みが1であり、すべてのバイアス値が0であると想定されているため、緑色の円によって計算されます $\ begin {bmatrix} 2 \\ 2 \ end {bmatrix}$、つまり、1 + 1 + 0 + 0 = 2の場合、計算された値は青いボックスに格納され、最終的に薄い赤い円で計算されます。 $\ begin {bmatrix} 4 \\ 4 \ end {bmatrix}$、この時点で、最初のノードが計算されます。
次に、上記の作業を繰り返します。


このようにして、出力シーケンス（出力シーケンス）を取得します。ここで、入力シーケンスの順序は自由に調整できないことに注意してください。自由に調整すると出力シーケンスが異なるためです。

2. RNN（Elman Network）の適用例

上記の図に示すように、「11月2日に台北に到着」という文から場所と時間を抽出するには、この文をRNNに入れて処理します。これは、RNNが多くのトレーニングの後にトレーニングデータから「到着」を要約するためです。 「この単語に続く場所の確率は比較的高いので、この文の場所は「台北」である確率です。同様に、それは最初の3つの単語に基づきます」と「11月2日」に台北に到着します確率は、「11月2日」が世界で比較的高い確率であることを示します。
上の図の緑色のボックスは非表示レイヤーであり、さらにいくつかの非表示レイヤーが存在する場合があります。

3. RNNの他の形式

ヨルダンネットワーク
ヨルダンネットワーク差で示さエルマンネットワークとしては、隠された層の異なるデータ入力であります

双方向RNN

1参照。
特許文献2。
文献3：Pytorch RNN。