【深層学習】RNNリカレントニューラルネットワークとLSTM深層学習モデル

1.リカレントニューラルネットワークRNN(リカレントニューラルネットワーク)

リカレント ニューラル ネットワークの中核は、前のシーケンス データを使用してその後の結果を予測できることです。これを達成する方法。RNN の構造を次の図に示します。

前列の情報が処理された後、入力情報として後列に渡されます。

数学的モデル:

${ある}^1=g_{}(W_{}{ある}^0+W_{}{バツ}^1+b_{})$、$y^1=g_{}(W_{}{ある}^0+W_{}{バツ}^1+b_{})$
${ある}^2=g_{}(W_{}{ある}^1+W_{}{バツ}^2+b_{})$、$y^2=g_{}(W_{}{ある}^1+W_{}{バツ}^2+b_{})$
……
${ある}^t=g_{}(W_{}{ある}^{t-1}+W_{}{バツ}^t+b_{})$、$y^t=g_{}(W_{}{ある}^{t-1}+W_{}{バツ}^t+b_{})$

$g$は活性化関数、$わ、b$はトレーニングパラメータです。

2. さまざまな種類の RNN モデル

基本的な RNN モデル構造

入力: ${バツ}^1、{バツ}^2、{バツ}^2、...、{バツ}^i$，输出：$y^1、y^2、y^2、...、y^i$
複数入力から複数出力への同じ次元の RNN 構造。
用途：特定情報の識別。

多入力一出力のRNN構造

输入：${バツ}^1、{バツ}^2、{バツ}^2、...、{バツ}^i$，输出：$y$
アプリケーション: 感情認識

単一入力複数出力の RNN 構造

入力: $xi$，输出：$y\; 1\; ,$$y^1、y^2、y^2、...、y^i$
アプリケーション：記事生成、音楽生成などのシーケンスデータ生成器

複数入力複数出力 RNN 構造

入力: ${バツ}^1、{バツ}^2、{バツ}^2、...、{バツ}^i$，输出：$y^1、y^2、y^2、...、y^j$
アプリケーション: 言語翻訳

双方向リカレント ニューラル ネットワーク (BRNN) が
判断を行う際には、事後シーケンス情報も考慮されます。

ディープリカレントニューラルネットワーク (DRNN) は
、より複雑なシーケンスタスクを解決し、出力前に単層 RNN スタックまたは完全な接続と組み合わせることができます。

通常の RNN 構造の欠陥

まず、前方のシーケンス情報が後方に伝送されると、情報の重みが減少し、重要な情報が失われることになる。溶液のプロセス中に勾配は消えます。

第 2 に、RNN はトレーニング プロセス中にパラメーターを失うことがあります。

損失関数を最小化する過程で、勾配が突然激しくジッタになり、パラメータ損失が発生します。

では、なぜこのようなことが起こっているのでしょうか?
以下の図の RNN 構造を例として取り上げ、$W^{私}、W^o$がすべて 1 で、入力の長さが 1000 の場合、$y^{1000}=w^{999}$

と仮定しますwwww$では、\; w$の初期値は 1 です。$w$を少し変えるとどうなるでしょうか

つまり、RNN の問題は、トレーニング プロセス中に同じ$w$はさまざまな時点で繰り返し使用されます、$一度wが$影響を与えると、大きな影響を与えることになります。

長短期記憶ネットワーク LSTM (長短期記憶)

LSTM を使用すると、前述の RNN 構造の欠陥を最適化できます。元の通常の RNN 構造単位にメモリ セル$c^i$、前線の遠い部分に関する情報を伝えることができます。

LSTM 構造は、3 つのゲート、4 つの入力、および 1 つの出力で構成されます。3 つのゲートは、入力ゲート、忘却ゲート、出力ゲートです。これら 3 つのゲートを使用して、どの情報を忘れて破棄するか、どの情報を保持するか変更せずに保存するかを制御します。4 つの入力は、入力データ$Z$、入力ゲート制御信号$Z_{}$、ゲート制御信号$Z_{}$および出力ゲート制御信号$Z_{}$。

ここでのドアは活性化関数として理解できますが、シグモイド関数の値は 0 から 1 の間であり、ドアの開閉を制御するために使用されるため、この活性化関数は通常シグモイド関数です。

メモリに格納されている元の値が$c$の場合、更新された値は$c^{』}=g\left(z\right)f\left(z_{}\right)+cf(z_{}）$、$c^{\text{'}}$はメモリに保存された新しい値です。この式から、 f ( zi ) f(z_i)であることがわかります。$f\left(z_{}\right)$ ZZを制御することです$Z\; を$レベルとして入力できますか?$f\left(z_{}\right)=0$は入力がないことを意味し、$f\left(z_{}\right)=1$は入力あり。$f\left(z_{}\right)$は、メモリ内の値を更新するかどうかを制御します。$f\left(z_{}\right)=0$では、ドアが開いていることを忘れて、セルに 0 を書き込みます。$f\left(z_{}\right)=1$の場合、直接通過し、セルの中央値は変更されないままになります。$f\left(z_{}\right)$は出力値があるかどうかを制御します。

$Z_{}、Z_{}、Z_{}{Z}_{}$すべて$X$に重み行列を乗算して得られる入力以下のようにシーケンスを入力します。

LSTM は RNN 勾配消失の問題を解決できます。RNN メモリ内の値は毎回クリアされますが、LSTM 内のメモリは常に重ね合わされており、ドアが閉まっていない限りクリアされません。