2019年8月27日15時42分〇〇秒
問題の説明：循環ニューラルネットワークに問題がプログラムを改善するグラデーションやグラデーション爆発し、消えていますなぜ。
問題解決：
解決サイクルニューラルネットワークモデルは、アルゴリズム（逆伝搬時間に基づいて、時間を通じて逆伝搬）BPTTを使用することができ、BPTTは、実際にバックプロパゲーションアルゴリズムの単純な変形です。リカレントニューラルネットワークは、理解する時系列フィードフォワードニューラルネットワークにおけるTの層、及び一般的なバックプロパゲーションアルゴリズムに差を拡大しない場合。ループニューラルネットワークに設計された1つの入力間の長距離の依存関係を捕捉することができます。
構造上の観点からは、リカレントニューラルネットワークは、これを行うことができるはずです。しかし、実際には使用BPTTアルゴリズムニューラルネットワークの学習サイクルが正常に長距離の入力間の依存関係をキャプチャすることはできませんとことが判明し、この現象は、ニューラルネットワーク勾配が消えるが主な原因です。