1.提案リカレントニューラルネットワークモデルは、メモリの考えに基づいて、目的のネットワークが目の前にし、機能に基づいて推論結果の後ろに現れ、全体的なネットワーク構造の連続サイクル、その名のリカレントニューラルネットワークフィーチャー覚えています。
2.特に単純リカレントニューラルネットワークの基本的な構造は、ネットワークの出力は、メモリユニット、メモリユニット、およびニューラルネットワークと次への入力に格納されます。
3.ネットワーク出力をネットワークの最終的な出力を形成するために一緒に双方向ループ神ネットワーク、ネットワークデータシーケンスの正の方向から最初に読み込まれ、その後反対方向から読み出される最後の2つの結果を使用。
4.時間依存の問題の長さの対処：LSTMを、GRU
LSTM（1997）：長期短期記憶ネットワーク
三つの門によって制御LSTMは、これらのゲートは、3つの入力ゲート、忘却と出力ゲートです。ゲートのネットワーク制御入力、ゲートは、メモリコントローラ部、ゲート・ネットワーク・コントローラの出力を忘れ。最も重要なことは、ドア忘れ去られ、ドアの決定前にメモリの役割を忘れて、メモリが与えられたタスクのために、LSTMは、長期記憶の機能を持って作り、それを忘れて、ドアの役割である、削除されるか、予約されているものを忘れてしまいました人間の干渉なしになり記憶保持、独立した学習が可能なネットワークの前に、自分のドアを作る方法を学びます。
LSTMプロセス：
CのT-1タイムステップt-1メモリユニットのネットワークのように、時間t後に着信ネットワーク、最初の操作は、その忘れの程度を決定することで、時刻tにおけるメモリ状態の正面は0-1で乗算され減衰係数、及び、時間tにおけるプラスネットワーク時間tメモリセルの+ 1として、発信ネットワークを更新した後、メモリとして学習メモリ。時刻t 1減衰係数メモリネットワークはT-1ネットワークの時刻tにおける入力と出力のネットワークによって決定され、tは時刻tと時刻t-1の入力ネットワークにおけるネットワークの出力に応じてネットワーク学習したメモリを得るための時間でありますA。
ドア忘れました：
まず、T-1のネットワーク出力時間H T-1これは、線形変換のステップ入力とXT組み合わせ効果であり、WはF * [H T-1、X T ] B + F。そして、シグモイド活性化関数によって、結果はフィートで表さメモリとして0-1減衰係数、にマッピングされ、あなたが入力し、前回の瞬間の出力によって決定された特定のネットワークを維持したいどのくらいのメモリを参照することができます。
減衰係数：
トン時間はメモリーを学んだ： 
：現在のメモリの減衰係数を学びます。
：学んだ思い出の現在の状態
最後に、時刻t-1の減衰係数
時刻t-1メモリによって
、プラスTメモリを学習する時
、それに対応する減衰係数によって
、このように時間tのメモリ状態を取得します
出力ゲート：
出力現在のネットワーク時間tが
メモリ時間tの現在の状態に依存する
時刻tにおける入力と
出力のタイミング
、
CRANE：
LSTM最大の違いは、GRU GRU忘れゲートと入力ゲートが余分なメモリ状態のネットワークが、「ゲート更新」を合成することである
が、結果を出力
後方定数メモリ転送サイクルの状態として。
5.PyTorchループネットワークモジュール
標準RNN
コールPytorch：nn.RNN（）
input_size：Xは入力表しT特性寸法を
hidden_size：HTは、フィーチャ寸法の出力を表し、
num_layers：ネットワーク層という、一つの層がデフォルトであることを示し、
非線形性：非線形活性化関数、デフォルトTANHは、reluを選択することができ、
バイアス：バイアスかどうか
batch_first：ネットワークは、入力の大きさの順序を決定する上にデフォルトネットワーク（配列、バッチ、機能）入力、系列長に応じて入力し、バッチ、最終的な特徴の寸法は、このパラメータがTrueに設定されている場合、配列になる、ありますである（バッチ、配列、機能）
0-1の値を受信し、ネットワーク層に加えてドロップアウトの最後の層を除く他の意志の出力層：ドロップアウト
双方向：trueに設定されているが、構造が双方向サイクルニューラルネットワークである場合、デフォルトでは、Falseです。
ネットワークの入力と出力を受信：