Recurrent Neural Networks(RNN)

人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃，然后用空白的大脑进行思考。我们的思想拥有持久性。

传统的神经网络并不能做到这点，看起来也像是一种巨大的弊端。例如，假设你希望对电影中的每个时间点的时间类型进行分类。传统的神经网络应该很难来处理这个问题——使用电影中先前的事件推断后续的事件。

RNN 解决了这个问题。RNN 是包含循环的网络，允许信息的持久化。

RNN 包含循环

在上面的示例图中，神经网络的模块，A，正在读取某个输入 x_i，并输出一个值 h_i。循环可以使得信息可以从当前步传递到下一步。

这些循环使得 RNN 看起来非常神秘。然而，如果你仔细想想，这样也不比一个正常的神经网络难于理解。RNN 可以被看做是同一神经网络的多次复制，每个神经网络模块会把消息传递给下一个。所以，如果我们将这个循环展开：

展开的 RNN

链式的特征揭示了 RNN 本质上是与序列和列表相关的。他们是对于这类数据的最自然的神经网络架构。

RNN的梯度消失

RNN在训练时，也会遇到和训练深层神经网络时一样的问题--会出现梯度消失或者梯度爆炸。对于梯度爆炸比较容易解决，对模型重新进行梯度修剪就能避免问题，下图是梯度修剪实施的过程。但对于解决梯度消失问题比较困难。下面提到的GRU和LSTM是能有效解决梯度消失的方法。实施过程有点复杂。

并且 RNN 也已经被人们应用了！在过去几年中，应用 RNN 在语音识别，语言建模，翻译，图片描述等问题上已经取得一定成功，并且这个列表还在增长。我建议大家参考 Andrej Karpathy 的博客文章—— The Unreasonable Effectiveness of Recurrent Neural Networks 来看看更丰富有趣的 RNN 的成功应用。

而这些成功应用的关键之处就是 LSTM 的使用，这是一种特别的 RNN，比标准的 RNN 在很多的任务上都表现得更好。几乎所有的令人振奋的关于 RNN 的结果都是通过 LSTM 达到的。这篇博文也会就 LSTM 进行展开。

长期依赖（Long-Term Dependencies）问题

RNN 的关键点之一就是他们可以用来连接先前的信息到当前的任务上，例如使用过去的视频段来推测对当前段的理解。如果 RNN 可以做到这个，他们就变得非常有用。但是真的可以么？答案是，还有很多依赖因素。

有时候，我们仅仅需要知道先前的信息来执行当前的任务。例如，我们有一个语言模型用来基于先前的词来预测下一个词。如果我们试着预测 “the clouds are in the sky” 最后的词，我们并不需要任何其他的上下文 —— 因此下一个词很显然就应该是 sky。在这样的场景中，相关的信息和预测的词位置之间的间隔是非常小的，RNN 可以学会使用先前的信息。

不太长的相关信息和位置间隔

但是同样会有一些更加复杂的场景。假设我们试着去预测“I grew up in France... I speak fluent French”最后的词。当前的信息建议下一个词可能是一种语言的名字，但是如果我们需要弄清楚是什么语言，我们是需要先前提到的离当前位置很远的 France 的上下文的。这说明相关信息和当前预测位置之间的间隔就肯定变得相当的大。

不幸的是，在这个间隔不断增大时，RNN 会丧失学习到连接如此远的信息的能力。

相当长的相关信息和位置间隔

在理论上，RNN 绝对可以处理这样的长期依赖问题。人们可以仔细挑选参数来解决这类问题中的最初级形式，但在实践中，RNN 肯定不能够成功学习到这些知识。Bengio, et al. (1994)等人对该问题进行了深入的研究，他们发现一些使训练 RNN 变得非常困难的相当根本的原因。

然而，幸运的是，LSTM 并没有这个问题！

LSTM 网络

Long Short Term 网络—— 一般就叫做 LSTM ——是一种 RNN 特殊的类型，可以学习长期依赖信息。LSTM 由Hochreiter & Schmidhuber (1997)提出，并在近期被Alex Graves进行了改良和推广。在很多问题，LSTM 都取得相当巨大的成功，并得到了广泛的使用。

LSTM 通过刻意的设计来避免长期依赖问题。记住长期的信息在实践中是 LSTM 的默认行为，而非需要付出很大代价才能获得的能力！

所有 RNN 都具有一种重复神经网络模块的链式的形式。在标准的 RNN 中，这个重复的模块只有一个非常简单的结构，例如一个 tanh 层。

标准 RNN 中的重复模块包含单一的层

LSTM 同样是这样的结构，但是重复的模块拥有一个不同的结构。不同于单一神经网络层，这里是有四个，以一种非常特殊的方式进行交互。

LSTM 中的重复模块包含四个交互的层

不必担心这里的细节。我们会一步一步地剖析 LSTM 解析图。现在，我们先来熟悉一下图中使用的各种元素的图标。

LSTM 中的图标

在上面的图例中，每一条黑线传输着一整个向量，从一个节点的输出到其他节点的输入。粉色的圈代表 pointwise 的操作，诸如向量的和，而黄色的矩阵就是学习到的神经网络层。合在一起的线表示向量的连接，分开的线表示内容被复制，然后分发到不同的位置。

LSTM 的核心思想

LSTM 的关键就是细胞状态，水平线在图上方贯穿运行。

细胞状态类似于传送带。直接在整个链上运行，只有一些少量的线性交互。信息在上面流传保持不变会很容易。

Paste_Image.png

LSTM 有通过精心设计的称作为“门”的结构来去除或者增加信息到细胞状态的能力。门是一种让信息选择式通过的方法。他们包含一个 sigmoid 神经网络层和一个 pointwise 乘法操作。

Paste_Image.png

Sigmoid 层输出 0 到 1 之间的数值，描述每个部分有多少量可以通过。0 代表“不许任何量通过”，1 就指“允许任意量通过”！

LSTM 拥有三个门，来保护和控制细胞状态。

逐步理解 LSTM

在我们 LSTM 中的第一步是决定我们会从细胞状态中丢弃什么信息。这个决定通过一个称为忘记门层完成。该门会读取 h_{t-1} 和 x_t，输出一个在 0 到 1 之间的数值给每个在细胞状态 C_{t-1} 中的数字。1 表示“完全保留”，0 表示“完全舍弃”。

让我们回到语言模型的例子中来基于已经看到的预测下一个词。在这个问题中，细胞状态可能包含当前主语的性别，因此正确的代词可以被选择出来。当我们看到新的主语，我们希望忘记旧的主语。

决定丢弃信息

下一步是确定什么样的新信息被存放在细胞状态中。这里包含两个部分。第一，sigmoid 层称 “输入门层” 决定什么值我们将要更新。然后，一个 tanh 层创建一个新的候选值向量， \tilde{C}_t，会被加入到状态中。下一步，我们会讲这两个信息来产生对状态的更新。

在我们语言模型的例子中，我们希望增加新的主语的性别到细胞状态中，来替代旧的需要忘记的主语。

确定更新的信息

现在是更新旧细胞状态的时间了，C_{t-1} 更新为 C_t。前面的步骤已经决定了将会做什么，我们现在就是实际去完成。

我们把旧状态与 f_t 相乘，丢弃掉我们确定需要丢弃的信息。接着加上 i_t * \tilde{C}_t。这就是新的候选值，根据我们决定更新每个状态的程度进行变化。

在语言模型的例子中，这就是我们实际根据前面确定的目标，丢弃旧代词的性别信息并添加新的信息的地方。

更新细胞状态

最终，我们需要确定输出什么值。这个输出将会基于我们的细胞状态，但是也是一个过滤后的版本。首先，我们运行一个 sigmoid 层来确定细胞状态的哪个部分将输出出去。接着，我们把细胞状态通过 tanh 进行处理（得到一个在 -1 到 1 之间的值）并将它和 sigmoid 门的输出相乘，最终我们仅仅会输出我们确定输出的那部分。

在语言模型的例子中，因为他就看到了一个代词，可能需要输出与一个动词相关的信息。例如，可能输出是否代词是单数还是负数，这样如果是动词的话，我们也知道动词需要进行的词形变化。

使用了三个gate。且在LSTM(Long Short Term Memory)中，c^<t>和a^<t>不再是对等的。

候选细胞：
˜c^<t> = tanh(w_c [ a^<t-1>, x^<t> ] + b^c )
update gate(更新门)：
Γ_u = σ(w_u[ a^<t-1>, x^<t> ] + b_u )
forget gate(遗忘门):：
Γ_f = σ(w_f[ a^<t-1>, x^<t> ] + b_f )
output gate(输出门):;
Γ_o = σ(w_o[ a^<t-1>, x^<t> ] + b_o )
记忆细胞：
c^<t> = Γ_u * ˜c^<t> + Γ_f * c^<t-1> (可以发现Γ_f 等价于GRU中的1 - Γ_u )

从此式子上可以看出计算当前记忆细胞结合了上一时刻记忆细胞和当前时刻候选记忆细胞的信息，并通过遗忘门Γ_f 和更新门Γ_u 来控制信息的流动。当Γ_f 近似1而Γ_u 近似0时，过去时刻的信息一直通过时间保存下来，而当前信息则被丢弃遗忘。
传入下一时刻的激活值（或者称为隐藏信息）：
a^<t> = Γ_o * tanh c^<t>

从此式子上可以看出，隐藏信息的流动取决于输出门Γ_o ，当Γ_o 近似为1时，信息被传递到下一时刻；当Γ_o 近似为0时，细胞信息自己保留。

LSTM 的变体

我们到目前为止都还在介绍正常的 LSTM。但是不是所有的 LSTM 都长成一个样子的。实际上，几乎所有包含 LSTM 的论文都采用了微小的变体。差异非常小，但是也值得拿出来讲一下。

1. 其中一个流形的 LSTM 变体，就是由 Gers & Schmidhuber (2000) 提出的，增加了 “peephole connection”。是说，我们让门层也会接受细胞状态的输入。

peephole 连接

上面的图例中，我们增加了 peephole 到每个门上，但是许多论文会加入部分的 peephole 而非所有都加。

2. 另一个变体是通过使用 coupled 忘记和输入门。不同于之前是分开确定什么忘记和需要添加什么新的信息，这里是一同做出决定。我们仅仅会当我们将要输入在当前位置时忘记。我们仅仅输入新的值到那些我们已经忘记旧的信息的那些状态。

coupled 忘记门和输入门

3. 另一个改动较大的变体是 Gated Recurrent Unit ( GRU)，这是由 Cho, et al. (2014) 提出。它将忘记门和输入门合成了一个单一的更新门。同样还混合了细胞状态和隐藏状态，和其他一些改动。最终的模型比标准的 LSTM 模型要简单，也是非常流行的变体。

GRU

GRU(Gated Recurrent Units)门循环单元是组成RNN隐藏层的部分，不仅能够帮助RNN更好地捕获长范围的连接关系，还对梯度消失问题有帮助。

GRU的简略版
在GRU中，提出memory cell(记忆细胞)的概念，用c来表示。记忆细胞的作用就是记住一些需要记忆的信息。
在GRU的概念中，c^<t> = a^<t>，即记忆细胞的值是和激活函数的输出值相等的。但在后面的LSTM概念中，两者是有区别的。
在每个时间步长中，我们重新定义一个候选项：˜c^<t> = tanh(w_c[c^<t-1>, x^<t>] + b_c)
接着有：Γ_u （0<Γ_u<1）= σ(w_u[c^<t-1>, x^<t>] + b_u)，这是在GRU中一个很重要的概念--更新门update gate，下标u表示update的意思，有时也用G_u表示。因为Γ_u 取0到1的范围，所以用上sigmoid激活函数来使计算结果在0到1的范围内。
在具体操作中，用˜c^<t>来更新c^<t>，用Γ_u来决定是否要更新c^<t>或者什么时候更新c^<t>。即用下面这个公式c_t = Γ_u * ˜c^<t> + (1-Γ_u) * c^<t-1>，当Γ_u=1时，c^<t>更新为备选项˜c^<t>；当Γ_u=0时，c^<t> = c^<t-1>
更新门可以控制过去的信息在当前时刻的重要性。如果更新门一直近似1，过去的信息将一直通过时间保存并传递至当前时刻。GRU的这个设计可以应对RNN中的梯度衰减问题，并且更好地捕获长范围内前后信息的依赖关系。
RNN单元和GRU单元的可视化
- RNN:
- GRU:
GRU的完整版
在上面简略版的基础上再加入一个gate--Γ_r(r表示relevance)，表示前后信息的关联性。
˜c^<t> = tanh(w_c[ Γ_r * c^<t-1>, x^<t> ] + b_c)
Γ_u = σ(w_u[ c^<t-1>, x^<t> ] + b_u)
Γ_r = σ(w_r[ c^<t-1>, x^<t> ] + b_u)
c^<t> = Γ_u * ˜c^<t> + (1-Γ_u) * c^<t-1>
a^<t> = c^<t>
候选项˜c^<t>的公式中包含Γ_r * c^<t-1>，说明这个门控制了上一时刻传递的信息的流入。如果Γ_r近似为0，c^<t-1>将被丢弃，即上一时刻传递的信息会被抛弃。
(因为这个操作，Amazon的动手学深度学习课程中也称这个门为重置门(reset gate))。
因此，Γ_r门提供了丢弃与未来无关的过去信息的机制。
对门控循环单元的设计稍作总结：

Γ_r门有助于捕捉序列数据中短期的依赖关系。
Γ_u门有助于捕捉序列数据中长期的依赖关系。

这里只是部分流行的 LSTM 变体。当然还有很多其他的，如 Yao, et al. (2015) 提出的 Depth Gated RNN。还有用一些完全不同的观点来解决长期依赖的问题，如 Koutnik, et al. (2014) 提出的 Clockwork RNN。

要问哪个变体是最好的？其中的差异性真的重要吗？Greff, et al. (2015) 给出了流行变体的比较，结论是他们基本上是一样的。Jozefowicz, et al. (2015) 则在超过 1 万种 RNN 架构上进行了测试，发现一些架构在某些任务上也取得了比 LSTM 更好的结果。

参考：
https://www.jianshu.com/p/9dc9f41f0b29
https://www.jianshu.com/p/d67e01618dde

[深度学习]理解RNN, GRU, LSTM 网络