RNNのイラスト
これは、ネットワーク構造であり、時間に関連し、より良い表示するために時間的に拡張することができます
トレーニング時間によって進水
LSTM
参考：参照 1、参照 2、参照3
なぜTANH？
勾配消失を克服するために、我々は、関数の二次導関数がゼロに到達する前に長い距離を維持することができる必要があります。TANHは、Aの性質を有する適切な機能です。
なぜS字を使うのか？
シグモイド関数の出力が0又は1であることができるので、忘れたり情報を覚え決定するために使用することができます。
3つのドアの影響：
FT = 0、それは1、内部状態履歴情報はCT-1が含まれている=は破棄され、履歴情報は、履歴情報のCT時刻t-1の唯一の内部状態、その後、解除され、候補が整形され
たときに0、ときフィート= 1、それは=、コピー履歴情報の唯一の内部状態はXTによってもたらされる新たな情報を書き込むことなく、CT-1の前の内部状態をCT。
忘れドア式：
Wfの* [H、X]は、以下の形態のように書くことができる
：入力ゲート
メモリセルの状態：
出力ゲート：
最終出力：
CRANE
式：
つの更新（アップデートゲート）とリセットゲート（リセットゲート）に入力ゲートドアやゲートを忘れる：入力ゲート、忘却ゲートは、ゲートの出力は、2つのドアとなります。
一方の状態に出力手段の状態：
