序列模型（2）-----循环神经网络RNN

一、RNN的作用：

RNN可解决的问题：

训练样本输入是连续的序列,且序列的长短不一，比如基于时间的序列：一段段连续的语音，一段段连续的手写文字。这些序列比较长，且长度不一，比较难直接的拆分成一个个独立的样本来通过DNN/CNN进行训练。

二、RNN模型：

上图中左边是RNN模型没有按时间展开的图，如果按时间序列展开，则是上图中的右边部分。我们重点观察右边部分的图。

这幅图描述了在序列索引号t附近RNN的模型。其中：

　　　　1）x(t)代表在序列索引号 t 时训练样本的输入。同样的，x^(t−1)和x^(t+1)代表在序列索引号t−1和t+1 时训练样本的输入。

　　　　2）h(t) 代表在序列索引号 t 时模型的隐藏状态。h^(t) 由x^(t)和h^(t−1) 共同决定。

　　　　3）o(t) 代表在序列索引号 t 时模型的输出。o^(t) 只由模型当前的隐藏状态h^(t)决定。

　　　　4）L(t) 代表在序列索引号 t 时模型的损失函数。

　　　　5）y(t) 代表在序列索引号 t 时训练样本序列的真实输出。

　　　　6）U,W,V 这三个矩阵是我们的模型的线性关系参数，它在整个RNN网络中是共享的，这点和DNN很不相同。 也正因为是共享了，它体现了RNN的模型的“循环反馈”的思想。

            U：输入层到隐藏层直接的权重

            W：隐藏层到隐藏层的权重

            V： 隐藏层到输出层的权重

　　

三、 RNN前向传播算法

1.  对于任意一个序列索引号 t ，我们隐藏状态h(t)由x(t) 和h(t−1)得到：
   • h^(t)=σ(z^(t))=σ(Ux^(t)+Wh^(t−1)+b)
   • 其中σ为RNN的激活函数，一般为tanh, b为线性关系的偏倚。
2. 序列索引号 t 时模型的输出o(t)的表达式比较简单：
   • o^(t)=Vh^(t)+c
3. 在最终在序列索引号 t 时我们的预测输出为:
   • y^^(t)=σ(o^(t))
   • 通常由于RNN是识别类的分类模型，所以上面这个激活函数一般是softmax。
4. 通过损失函数L^(t)，比如对数似然损失函数，我们可以量化模型在当前位置的损失，即y^^(t)和y^(t)的差距。

四、RNN反向传播算法推导

RNN反向传播算法的思路和DNN是一样的，即通过梯度下降法一轮轮的迭代，得到合适的RNN模型参数U,W,V,b,c。

由于我们是基于时间反向传播，所以RNN的反向传播有时也叫做BPTT(back-propagation through time)。

当然这里的BPTT和DNN也有很大的不同点，即这里所有的U,W,V,b,c在序列的各个位置是参数共享的，反向传播时我们更新的是相同的参数。

为了简化描述，这里的损失函数我们为对数损失函数，输出的激活函数为softmax函数，隐藏层的激活函数为tanh函数。

（1）对于RNN，由于我们在序列的每个位置 t 都有损失函数，因此最终的损失L为：

　　　

（2）其中 V,c 的梯度计算是比较简单的：

 （3）W,U,b的梯度计算比较复杂：

从RNN的模型可以看出，在反向传播时，在某一序列位置t的梯度损失由当前位置的输出对应的梯度损失和序列索引位置t+1时的梯度损失两部分共同决定。对于W在某一序列位置t的梯度损失需要反向传播一步步的计算。我们定义序列索引t位置的隐藏状态的梯度为：

摘自：https://www.cnblogs.com/pinard/p/6509630.html