循环神经网络的长程依赖问题及解决方法

出现问题 

循环神经网络在学习过程中的主要问题是由于梯度消失或爆炸问题， 很难建模 长时间间隔 （ Long Range ） 的状态之间的依赖关系 ．在BPTT 算法中 ， 将公式 ( 6.36 ) 展开得到

BPTT算法可参考这一篇博文

循环神经网络的参数学习之法_做程序员的第一天的博客-CSDN博客RTRL算法和BPTT算法都是基于梯度下降的算法，分别通过前 向模式和反向模式应用链式法则来计算梯度．。循环神经网络就可以按照前馈网络中的反向传播算法计算参数梯度．。算法的主要思想是通过类似前馈神经网络的错误反向传播算法。．BPTT算法将循环神经网络看作一个展开的多层前馈网络。因此参数的真实梯度是所有 “展开层” 的参数梯度之和。循环神经网络的参数可以通过梯度下降方法来进行学习。算法需要保 存所有时刻的中间梯度，是通过前向传播的方式来计算梯度。参数的梯度需要在一个完整的。所有层的参数是共享的，https://blog.csdn.net/m0_48241022/article/details/132336227?csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22132336227%22%2C%22source%22%3A%22m0_48241022%22%7D

长程依赖问题 也称为 长期依赖问题 或 长距离依赖问题 ．

改进方案

梯度爆炸 一般而言， 循环网络的梯度爆炸问题比较容易解决 ， 一般通过 权重衰减 或 梯度截断 来避免．（ 梯度截断是一种启发 式的解决梯度爆炸问 题的有效方法）