リカレントニューラルネットワーク（RNN）前方後方伝播アルゴリズムをモデル化、LSTMモデルノート

リカレントニューラルネットワーク（RNN）モデル前方後方伝播アルゴリズム、モデルLSTMノートは
、ニューラルネットワークの出力とモデルの間のフィードバックを持っている：リカレントニューラルネットワーク（リカレントニューラルネットワーク）、広く手書き認識、音声認識、自然言語処理で使用されています同様に、機械翻訳などの分野など。
特徴：
1.時間HI-1隠された隠れ状態の前にxを入力することによって決定しました。
2.モデルとの間の線形関係は、U、WをパラメータV行列RNNは、RNNが考えモデルフィードバックループを反映し、ネットワーク上で共有しました。
音声認識では、実用的なアプリケーションの手書き認識と機械翻訳や他の領域は広いLSTM RNNのモデルベースである
モデル。
長い短期記憶（LSTM） 、従来のRNN勾配が消滅回避します。
勾配は消滅：ニューラルネットワークのトレーニング方法は、主BPアルゴリズム（誤差逆伝搬、誤差逆伝播）、BPアルゴリズムの基礎と連鎖ルール誘導体、誘導体、複数の、すなわち生成物です。シグモイド及び0.25の誘導体の最大値、最も値が誘導体は以下で0.25に、乗算値、複数の非常に小さいシグモイド活性化関数後の値のほとんどをもたらす飽和領域の両側、、、にプッシュされています操作の結果は小さいです。つまり、何の情報も浅いネットワークの損失に渡されません、レイヤ、ネットワークに拡散する浅い勾配ではなく、基本的な原因の外乱パラメータを深めるとともに、ニューラルネットワークの後、このネットワークは、学ぶために訓練することはできません。これは、勾配が消えると呼ばれています。溶液勾配は消滅した：
。A ReLUような活性化などの他の機能を使用します。
B.層は、正規化した
C.は、重みの初期化方法最適化
劇的、カプセルネットBP学習処理をキャンセルすることを意図し、そのような高速道路網として、新規なネットワーク構造D.建設。
LSTM tの時間インデックス位置は、各シーケンスは、細胞の状態、LSTM構造と呼ばれるゲート構造よりも（GATE）の数に加えて、我々は、細胞（細胞の状態）の状態を呼ぶくらいのさらに前方に隠された状態を、広めます。各配列インデックスtにおけるLSTMドア位置は、一般的に忘却ゲート、入力及び出力ゲート3を含みます。
忘れられた扉（ゲートを忘れる）：LSTM IEである確率がオン状態のセルの隠れ層を忘れてしまったかどうかを制御します。出力は隠れ層セルの状態を忘れ確率を表します。
現在のシーケンスの入力位置を処理するための責任：ゲート（入力ゲート）を入力します。両者の結果は、再び細胞増殖の状態を更新した後、第一の部分、TANH活性化機能を使用して、第2の部分を使用して、シグモイド活性化関数。アダマール積は行列積です。
出力ゲート（出力ゲート）。
参考ブログ：
https://www.cnblogs.com/pinard/p/6509630.html
https://www.cnblogs.com/pinard/p/6519110.html