LSTM（長短期記憶、LSTM）

LSTMの理由は?

リカレントニューラルネットワークの長距離依存性を改善するための非常に良い解決策は、新しい情報を選択的に追加したり、以前に蓄積された情報を選択的に忘れたりするなど、情報の蓄積速度を制御するゲートメカニズムを導入することです。このタイプのネットワークは、ゲートベースのリカレントニューラルネットワーク( Gated RNN)と呼ばれます。ゲートベースのリカレントニューラルネットワークは数多くありますが、その中で最も古典的なゲートベースのリカレントニューラルネットワークは長短期記憶ネットワーク ( LSTM) です。

なぜLSTM（長短期記憶）と呼ばれるのでしょうか?

LSTM（Long-Short Term Memory、LSTM）は長短期記憶というちょっと変わった名前です。これは実際に、メモリの長さを維持するというこのアルゴリズムの原則を反映しています。たとえば、人間の脳はすべての情報を覚えているわけではなく、短期記憶と長期記憶があります。LSTM はこの原理を使用して設計されています。

記憶をより深いレベルで理解する方法:

LSTM は長い「短期記憶」を指します。

LSTM ゲート機構?

ゲート機構 デジタル回路では、ゲート ( gate ) はバイナリ変数 {0, 1} で、0 は閉じた状態を表し、情報の通過は許可されません。1 は開いた状態を表し、すべての情報の通過が許可されます。

LSTM ネットワークでは、情報伝送の経路を制御するためのゲート機構(Gating Mechanism) が導入されています。

通常の RNN は短期記憶のみを保持し、LSTM には記憶の処理が追加されます。この追加部分制御のロジックはさらに複雑になる。簡単に言えば、忘却ゲート、入力ゲート、出力ゲートの 3 つのゲートを通じて、増加したメモリユニットを制御します。追加されたゲートはメモリユニットの制御に使用されることに注意してください。

3 つのゲートの機能は次のとおりです。

1. フォーゲットゲートは、以前のメモリをどれだけ保持するかを決定します (直前の瞬間の内部状態を制御するために、どれだけの情報を忘れる必要があるか)
2. 入力ゲートは、現在の入力のどれだけがメモリに変換されるかを決定します (制御現時点での候補状態が持つ情報量 (保存する必要がある情報量)
3. 出力ゲートは、メモリのどの量を出力するかを決定します (内部状態を制御するために外部状態にどの程度の情報を出力する必要があるか)現時点では)
以上が記憶部の処理と言えます。LSTM は通常の RNN に比べてメモリユニットの出力が増加します。

LSTMとは何ですか?

RNN の発展版である LSTM を 1 文で紹介します. RNN の限界が文を理解することであるなら, LSTM の限界は段落を理解することです. 詳細は次のとおりです:

LSTM は Long Short Term Memory ネットワーク (Long Short Term Memory network) の正式名で、長期的な依存関係を学習できる特別な RNN です。LSTM論文は 1997 年に初めて出版されました。LSTM は、独自の設計構造により、非常に長い間隔と時系列の遅延を持つ重要なイベントの処理と予測に適しています。