GRU の紹介
GRU は新世代の再帰型ニューラル ネットワークです. 長期記憶やバックプロパゲーションの勾配などの問題を解決するためにも提案されています. LSTM と非常によく似ています. LSTM と比較して、GRU はセル状態を取り除き、隠れ状態を使用して情報を送信します。また、GRUはリセットゲートとアップデートゲートの2つのゲートしかなく、構造が単純です。
現在の入力
、および前のノードから渡された非表示の状態
。非表示の状態には、前のノードの関連情報が含まれています。
と を組み合わせると、GRU は現在の隠しノードの出力
と次のノードに渡される隠し状態を取得します
。
GRU 構造
r、z は制御ゲート、r はリセット ゲート、z は更新ゲートで、スプライシング ベクトルに重み行列を掛けた後、シグモイド活性化関数によって 0 と 1 の間の値に変換され、ゲート信号。
⊙r、次に と を
スプライシングし、tanh 活性化関数を介してデータを -1 から 1 の範囲にスケーリングします。つまり、h' が得られます。
更新メモリ ステージは GRU の最も重要なステップであり、更新式は次のとおりです。
=（1-z）⊙ +z⊙h′
忘却と選択的記憶は、同じゲート z を使用して同時に実行できます。ここで、(1-z)⊙ は元の隠れ状態の選択的忘却を意味し、z⊙h' は現在のノード情報を含む h' の選択的記憶を意味します。前述のように、この操作は、渡された の一部の情報を削除し、現在のノードによって入力された一部の情報を追加することです。
GRU の入出力の構造は通常の RNN に似ており、その内部のアイデアは LSTM に似ています。LSTM と比較すると、GRU は LSTM よりもゲートとパラメーターが 1 つ少なくなりますが、LSTM と同じ機能を実現できます。ハードウェアの計算能力と時間コストを考慮して、より実用的な GRU を選択することがよくあります。