（III）リカレントニューラルネットワークニューラルネットワーク手書きのPython

目的

  python3 RNNニューラルネットワークの下に書かれたこのブログの簡単なを共有します。コード内の潜在的な問題を指摘すると同時に歓迎で、一緒に勉強して議論-
  直接コードにします。https：//github.com/Site1997/RNN-implementation

個人レポ：パイソンのRNN実現

デザインのアイデア

ここでは非常に、非常に単純なRNNの実現があります。フィニッシュは再び前方CNNと後方伝搬は、その後、RNNの周りのスプレッドはそれを書くことは比較的容易である場合。なお、三つの主要な問題：

• シグモイド関数処理数値的安定性
• 式下付き文字の下に、注意があり、TまたはT-1
• チェーン導出へ $h_t$エラーの二つのソースがある場合、それはAです $H_ {T + 1}$、です $y_t$。

最後に、（この下のような）式に従って、慎重のように書きます！

リファレンス

• すべてのリカレントニューラルネットワークについて
• スクラッチからのリカレントニューラルネットワークを構築