RNN（リカレントニューラルネットワーク）とは
Recurrent Neural Network (再帰型ニューラル ネットワーク) では、画像を認識する際、入力された各画像が分離されており、この画像をリンゴとして認識しても、次の画像の梨としての認識には影響を与えません。
しかし、言語は順序がとても大切で、「私はリンゴを食べる」と「リンゴが私を食べる」では、語順が変わると全く違う意味を表します。この順序には特定の情報も含まれており、たとえば「eat」の後には食べ物を表す名詞が高確率で続きます。
このデータの関連性を捉えるために、人々は配列情報を非常に重視するネットワークである RNN を発見しました。
シーケンスはデータのコンテキストです。RNN の基本構造はやはりニューラル ネットワークですが、データ入力時のネットワークの状態を記録するための小さなボックスがあります。次回データを入力するとき、ネットワークは、そのデータに保存されている情報を考慮する必要があります。小さなボックスの情報は、何度もデータが入力されることで常に更新され、ボックス内の情報は隠し状態と呼ばれます。
冒頭の例と同様、RNN の最も一般的な応用分野は自然言語処理です。
-
機械翻訳は、異なる言語で表現されている同じ意味の順序を見つけることです。
-
詩の生成はテーマに基づいて行われ、特定のルールに従って論理的な単語の順序が出力されます。両端の情報の種類を変えて、絵を入力して文章を出力し、絵を見て話すだけ。
-
音声は、時系列に沿った一連の音信号とみなすこともでき、音声認識と音声生成も RNN の機能の範囲内です。
-
株価は時間に影響される系列とみなすこともでき、多くの定量的取引モデルの確立はこの認識に基づいています。
しかし、RNN には依然として無視できない欠陥があり、データが入力されるのが早ければ早いほど、隠れた状態で占める影響が少なくなります。つまり、文が非常に長い場合、RNN は最初に何を言ったかを忘れてしまいます。 。
そこで、RNN の改良版である LSTM (長期短期記憶モデル) が存在します。