ディープラーニング入門 (62) リカレント ニューラル ネットワーク - ディープリカレント ニューラル ネットワーク

序文

核心的な内容はブログリンク1ブログリンク2からです作者をたくさん応援していただければ幸いです
この記事は忘れないための記録用です

リカレント ニューラル ネットワーク - ディープリカレント ニューラル ネットワーク

コースウェア

要約: リカレント ニューラル ネットワーク

隠れ状態の更新: $h_{}=\varphi (W_{}{h}_{t-}+W_h{バツ}_{t-})+b_{}$
输出：${ああ}_{}=\varphi (W_{ほら}{h}_{}+b_{})$

非線形性をさらに高めるにはどうすればよいでしょうか?

PLANA：単位の非線形性

$h_{}=\varphi (W_{}{h}_{t-}+W_h{バツ}_{t-})+b_{}$
${ああ}_{}=\varphi (W_{ほら}{h}_{}+b_{})$

ϕ \phiを置き換えます$\varphi$

もっと深く

要約する

• ディープリカレントニューラルネットワークは、非線形性を高めるために複数の隠れ層を使用します

コースウェア

これまで、1 つの単方向隠れ層を持つリカレント ニューラル ネットワークについてのみ説明してきました。隠れた変数と観測値が特定の関数形式と相互作用する方法は、まったく任意です。インタラクションタイプのモデル化に十分な柔軟性がある限り、これは大きな問題ではありません。ただし、これは単一レイヤーでは非常に困難な場合があります。以前の線形モデルでは、レイヤーを追加することでこの問題を解決していました。そして、リカレント ニューラル ネットワークでは、まずレイヤーを追加する方法と、追加の非線形性をどこに追加するかを理解する必要があるため、この問題は少し難しくなります。

実際、リカレント ニューラル ネットワークの複数の層を積み重ねることができ、その結果、いくつかの単純な層の構成を通じて柔軟なメカニズムが得られます。特に、データは異なる層のスタックに関連する場合があります。たとえば、金融市場の状況 (弱気または強気) に関するマクロ データを利用可能な状態に保ちたい一方で、ミクロ データは短期間の時間的ダイナミクスのみをキャプチャしたい場合があります。

以下の図は、N 個の隠れ層を持つディープリカレントニューラルネットワークを示しています。各隠れ状態は、現在の層の次のタイムステップと次の層の現在のタイムステップに連続的に渡されます。

1 機能の依存関係

上の図のLLで説明されているように、ディープ アーキテクチャでの機能の依存関係を形式化できます。$それはL\; 個の$隠れ層で構成されます。以降の議論は古典的なリカレント ニューラル ネットワーク モデルに焦点を当てますが、これらの議論は他のシーケンス モデルにも適用できます。

タイムステップ$t\; に$は小さなバッチの入力データ${バツ}_{}\in R^{n\times d}$ (サンプル数:$n$、各サンプルの入力数:$d$ )。同時に、${私}^{番目の}$隠れ層 ($私=1、\dots 、L$）隠れ状態は$H_t^{(l}\in R^{n\times h}$ (隠れユニット数:$h$ )、出力層変数は${○}_{}\in R^{n\times q}$ (出力数:$q$）。設定$H_t^{(0}={バツ}_{}$、第$l$隠れ層の隠れ状態は活性化関数${\varphi }_{}$，则：
$$H_t^{(l}={\varphi }_{}(H_t^{(l-1}{W}_{\times 時間}^{(l}+H_{t-1}^{(l}{W}_{ふーん}^{(l}+b_h^{(l})、$$
ここで、重み$W_{\times 時間}^{(l}\in R^{h\times h}$ ,$W_{ふーん}^{(l}\in R^{h\times h}$とバイアス$b_h^{(l}\in R^{1\times h}$は13 番目です$l\; 個$の隠れ層のモデル パラメーター。

最後に、出力層の計算は$l\; 個$の隠れ層の最終的な隠れ状態
$${○}_{}=H_t^{(L}{W}_{ああ}+b_{},$$
ここで、重み$W_{ああ}\in R^{h\times q}$とバイアス$b_{}\in R^{1\times q}$は出力層のモデルパラメータです。

多層パーセプトロンと同様に、隠れ層の数$L$と隠れユニットの数$h$はハイパーパラメータです。つまり、当社で調整することが可能です。また、$H_t^{(l}={\varphi }_{}(H_t^{(l-1}{W}_{\times 時間}^{(l}+H_{t-1}^{(l}{W}_{ふーん}^{(l}+b_h^{(l})、$の隠れ状態は、ディープゲートリカレントニューラルネットワークまたはディープ長期短期記憶ニューラルネットワークを簡単に取得できます。

2 簡潔な実装

多層リカレント ニューラル ネットワークの実装に必要な論理詳細の多くは、高レベル API ですぐに利用できます。簡単にするために、このような組み込み関数を使用した実装のみを示します。LSTM ネットワーク モデルを例にとると、このコードは LSTM セクションで前に使用したコードと非常によく似ていますが、実際の唯一の違いは、単一レイヤーのデフォルト値を使用する代わりにレイヤーの数を指定していることです。いつものように、データセットをロードすることから始めます。

import torch
from torch import nn
from d2l import torch as d2l

batch_size, num_steps = 32, 35
train_iter, vocab = d2l.load_data_time_machine(batch_size, num_steps)

ハイパーパラメータの選択などのアーキテクチャ上の決定も、LSTM セクションの決定と非常に似ています。異なるトークンがあるため、入力と出力の両方に同じ番号が選択されます。つまり、 ですvocab_size。隠しユニットの数は256のままです。唯一の違いは、num_layers隠れ層の数を設定する値を渡すようになった点です。

vocab_size, num_hiddens, num_layers = len(vocab), 256, 2
num_inputs = vocab_size
device = d2l.try_gpu()
lstm_layer = nn.LSTM(num_inputs, num_hiddens, num_layers)
model = d2l.RNNModel(lstm_layer, len(vocab))
model = model.to(device)

3 トレーニングと予測

LSTM ネットワーク モデルは 2 つのレイヤーのインスタンス化に使用されるため、トレーニング速度が大幅に低下します。

num_epochs, lr = 500, 2
d2l.train_ch8(model, train_iter, vocab, lr*1.0, num_epochs, device)

出力：

perplexity 1.0, 224250.2 tokens/sec on cuda:0
time travelleryou can show black is white by argument said filby
travelleryou can show black is white by argument said filby

4 まとめ

• ディープリカレントニューラルネットワークでは、隠れ状態の情報が現在の層の次のタイムステップと次の層の現在のタイムステップに渡されます。

• ディープリカレントニューラルネットワークには、長期短期記憶ネットワーク、ゲートリカレントユニット、古典的リカレントニューラルネットワークなど、さまざまな種類があります。これらのモデルは、深層学習フレームワークの高レベル API でカバーされています。

• 全体として、ディープリカレントニューラルネットワークでは、適切な収束を確保するためにパラメータ（学習率や枝刈りなど）を広範囲に調整する必要があり、モデルの初期化にも注意が必要です。