动手学深度学习——循环神经网络

循环神经网络

循环神经网络（RNN）主要用于预测任务：基于当前和历史输入序列，预测序列的下一个字符。循环神经网络相对于普通神经网络而言，最大的特点在于颖仓变量 $H$的引进，用 $H_{t}$表示 $H$在时间步 $t$的值，该变量记录了到当前字符为止的序列信息。历史信息的使用使得预测更为精确。循环神经网络的示意图：

循环神经网络模型

假设 $\boldsymbol{X_{t} \in \mathbb{R}^{n \times d}}$是时间步 $t$的小批量输入， $\boldsymbol{H_{t} \in \mathbb{R}^{n \times h}}$是该时间步的隐藏变量，则：
$\boldsymbol{H_{t}}=\Phi(\boldsymbol{X_{t}}\boldsymbol{W_{xh}}+\boldsymbol{H_{t-1}}\boldsymbol{W_{hh}}+\boldsymbol{b_{h}})$

其中 $\boldsymbol{W_{xh} \in \mathbb{R}^{d \times h}}$， $\boldsymbol{W_{hh} \in \mathbb{R}^{h \times h}}$， $\boldsymbol{b_{h} \in \mathbb{R}^{1 \times h}}$， $\Phi$函数是非线性激活函数。由于引入了 $\boldsymbol{H_{t-1}}\boldsymbol{W_{hh}}$， $\boldsymbol{H_{t}}$能够捕捉截至当前时间步的序列的历史信息，就像是神经网络当前时间步的状态或记忆一样。循环神经网络的展开式示意图如下所示：

在时间步，输出层的输出为：
$\boldsymbol{O_{t}}=\boldsymbol{H_{t}}\boldsymbol{W_{hq}}+\boldsymbol{b_{q}}$

其中 $\boldsymbol{W_{hq} \in \mathbb{R}^{d \times h}}$， $\boldsymbol{b_{q} \in \mathbb{R}^{1 \times q}}$。

注：上述来源于伯禹学习平台的《动手学深度学习》的学习笔记