一、前言
GRU是LSTM的一种变体，综合来看：
1、两者的性能在很多任务上不分伯仲。
2、GRU 参数相对少更容易收敛，但是在数据集较大的情况下，LSTM性能更好。
3、GRU只有两个门（update和reset），LSTM有三个门（forget，input，output）
LSTM还有许多变体，但不管是何种变体，都是对输入和隐层状态做一个线性映射后加非线性激活函数，重点在于额外的门控机制是如何设计，用以控制梯度信息传播从而缓解梯度消失现象。
二、结构
1、LSTM
关于LSTM的网络上有许多介绍，这里贴一下网络结构图作为对比说明：
LSTM作为RNN的变体，设计了input gate、forget gate和output gate对长期信息与当期信息的进行处理，以达到维持长期依赖信息的作用，公式如下：
从结构上来看，input gate负责控制new memory，即输入信息，forget gate负责控制上一轮的memory，即长期信息，output gate对前两者的激活信息进行控制，输出h，即当前隐藏层信息。
2、GRU
GRU最早由：Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation，这篇论文提出，论文中对GRU的结构图描述如下：
简单描述是将LSTM的三个门控进行改变，将input与forget gate合并为update gate，而output gate变为reset gate，用下边的结构图作为比较：
从结构看，reset gate直接在new memory处对上一层的隐层信息进行处理，控制h(t-1)的信息存在，所以这里update gate是对输入信息的控制得到当前层隐层状态，详细公式如下：
（1）符号
z：update gate
r：reset gate
h~：候选隐藏状态
h：隐藏状态
t：时间
（2）重置门和更新门
σ 是 sigmoid 激活函数，取值范围会在 0 到 1 之间。W 和 U 是需要学习的权重矩阵，X是输入，h(t-1)是上一刻的隐藏状态。所以每个门的最后结果也是 0 到 1 之间。
（3）候选隐藏状态
候选隐藏状态只跟输入、上一刻的隐藏状态 h(t-1)有关。这里的重点是，h(t-1)是与 r 重置门相关的。r 的取值是在 0 到 1 之间，如果趋近于 0，那上一刻的信息就被遗忘掉了。
（4）当前隐藏状态
当前隐藏状态取决于 h(t-1) 和 h~。如果 z 趋近于 0，那表示上一时刻的信息被遗忘；如果 z 趋换于 1，那表示当前的输入信息被遗忘；其他则表示不同的重要程度。
综上，GRU 主要是用来解决遗忘问题的，也就是在反向传播中的梯度消失问题。
三、引用
1、Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation
2、https://cs224d.stanford.edu/lecture_notes/LectureNotes4.pdf