1.RNNs
RNN繰り返しを組み合わせて一緒に加えた後、我々は通常のネットワークの複製として行うことができ、各ネットワークは、次のネットワークへの出力を提供します。
ステップが拡大する時点でのRNNは、我々は次の図を取得します。
RNNから鎖構造は、容易に理解し、彼は配列情報に関連していることをすることができます。
2.長い時間依存の問題
間隔に関する情報や予測情報の増加と、それはそれらを関連付けることは難しいのRNN。
しかし、LSTMsは、この問題を解決することができます
3. LSTMネットワーク
ロング短期記憶ネットワーク（短期および長期記憶ネットワーク）通常LSTMSと呼ばれています。LSTMsは、前述の長期の依存を回避するように設計され、彼らの本質は情報の非常に長い期間を記憶する機能です。
RNNは、単一層TANHとして、従来のRNNに、このモジュールは非常に簡単であり、同一の形成された構造からコピーされます。
LSTMs類似の構造ではなく、モジュール部TANH層が、4つの特殊層の単純な繰り返しを有します。
まず、使用するシンボルを定義します。
3.1 LSTMsコアアイデア
最も重要な場所はLSTMsが細胞、すなわち、状態図における水平ラインの緑色部分の構造をトラバースされます。
セル状態ようなコンベアベルトのように、細胞、線形動作のごく少量からアップロードされたベクターは、（長期記憶保持を達成するために）変更することなく、セル情報を通過することは容易です
LSTMsは（ゲート）のドアの情報構造を追加または削除することによって達成されます。
ゲートが選択的神経SIGMOD層を介して情報を渡すことによって達成されてもよいし、点別乗算演算が達成されます。
0から1までSIGMOD層出力値を、対応する情報が1パスにすべての情報を表し、0で表されるみましょう右の重量で表されるべきです。
3つのLSTMドア構造の各々は、ゲート層を忘れる保護制御セル状態、忘れられているドアを達成するために、エントリは、入力されたゲート層、ゲート出力ゲート層の出力を渡します。
3.2 LSTMの理解を開発
3.2.1忘れられたドア
LSTM最初のステップは、達成SIGMODの層によって忘れゲート層と呼ばれる、破棄される情報を決定することです。
私たちは、あなたが使用している場合、新たな主題を記述するために始めたときに、各セルが正しく代名詞を使用するためには、その後、性別の対象（情報の保持）の現在の状態を保存する必要があり、全ての情報のコンテキストに基づいて、次の単語を予測する言語モデル忘れるために上記の魚で性転換の対象（情報を忘れてしまいました）
3.2.2パス・エントリー
LSTM次のステップは、過去に、細胞の状態に追加する新しいどのような情報を決定することです。それは2つの部分から構成され、1入力ゲート層が更新される値を決めるSIGMODと呼ばれる層です。前記ベクターは、別のCの内容に更新するために使用される層TANH作成Tを
私たちの言語モデルでは、古いステータス情報を交換し、細胞の状態を追加することをテーマとした私の新しい性別情報への扉。
上記構成によれば、セルCの状態に更新することが可能であるT-1を CにT
3.2.3出力ゲート
最後に、我々は出力の値は、出力値は、セルの状態のCに依存しているかを判断したいトン、フィルタリング処理を経ます。
まず、私はゲート層はシグモイドC判断使用T情報の一部が出力されると、その後、C T TANH層（1 -1のプロパティの値）、TANHシグモイド層と出力層は、重量から計算されます最終的な出力を掛けました。
言語モデルでは、モデルは、単数または複数形である必要があり、あなたが出力する動詞をすることができ、そして出力は、このような動詞の使用など、情報の代名詞と密接に関連している可能性があり、代名詞とばかりに連絡し、私たちはちょうど学び、代名詞たいです正しい予測を行うために、細胞の状態に関連する情報。
