在循环神经网络中输入数据是存在时间相关性的，也就是说，前一个时间点的数据会对后一时间点的数据产生影响。假设
X
t
∈
R
n
×
d
\boldsymbol{X}_t \in \mathbb{R}^{n \times d}
X t ∈ R n × d
t
t
t
H
t
∈
R
n
×
h
\boldsymbol{H}_t \in \mathbb{R}^{n \times h}
H t ∈ R n × h
H
t
−
1
\boldsymbol{H}_{t-1}
H t − 1
W
h
h
∈
R
h
×
h
\boldsymbol{W}_{hh} \in \mathbb{R}^{h \times h}
W h h ∈ R h × h
t
t
t
H
t
=
ϕ
(
X
t
W
x
h
+
H
t
−
1
W
h
h
+
b
h
)
.
\boldsymbol{H}_t = \phi(\boldsymbol{X}_t \boldsymbol{W}_{xh} + \boldsymbol{H}_{t-1} \boldsymbol{W}_{hh} + \boldsymbol{b}_h).
H t = ϕ ( X t W x h + H t − 1 W h h + b h ) .
与多层感知机相比，我们在这里添加了
H
t
−
1
W
h
h
\boldsymbol{H}_{t-1} \boldsymbol{W}_{hh}
H t − 1 W h h
H
t
\boldsymbol{H}_t
H t
H
t
−
1
\boldsymbol{H}_{t-1}
H t − 1
X
t
W
x
h
+
H
t
−
1
W
h
h
\boldsymbol{X}_t \boldsymbol{W}_{xh} + \boldsymbol{H}_{t-1} \boldsymbol{W}_{hh}
X t W x h + H t − 1 W h h
X
t
\boldsymbol{X}_t
X t
H
t
−
1
\boldsymbol{H}_{t-1}
H t − 1
W
x
h
\boldsymbol{W}_{xh}
W x h
W
h
h
\boldsymbol{W}_{hh}
W h h
循环神经网络有很多种不同的构造方法。含上式所定义的隐藏状态的循环神经网络是极为常见的一种。在时间步
t
t
t
O
t
=
H
t
W
h
q
+
b
q
.
\boldsymbol{O}_t = \boldsymbol{H}_t \boldsymbol{W}_{hq} + \boldsymbol{b}_q.
O t = H t W h q + b q .
循环神经网络的参数包括隐藏层的权重
W
x
h
∈
R
d
×
h
\boldsymbol{W}_{xh} \in \mathbb{R}^{d \times h}
W x h ∈ R d × h
W
h
h
∈
R
h
×
h
\boldsymbol{W}_{hh} \in \mathbb{R}^{h \times h}
W h h ∈ R h × h
b
h
∈
R
1
×
h
\boldsymbol{b}_h \in \mathbb{R}^{1 \times h}
b h ∈ R 1 × h
W
h
q
∈
R
h
×
q
\boldsymbol{W}_{hq} \in \mathbb{R}^{h \times q}
W h q ∈ R h × q
b
q
∈
R
1
×
q
\boldsymbol{b}_q \in \mathbb{R}^{1 \times q}
b q ∈ R 1 × q
t
t
t
X
t
\boldsymbol{X}_t
X t
H
t
−
1
\boldsymbol{H}_{t-1}
H t − 1
ϕ
\phi
ϕ
H
t
\boldsymbol{H}_t
H t
W
x
h
\boldsymbol{W}_{xh}
W x h
W
h
h
\boldsymbol{W}_{hh}
W h h
b
h
\boldsymbol{b}_h
b h
t
t
t
H
t
\boldsymbol{H}_t
H t
t
+
1
t+1
t + 1
H
t
+
1
\boldsymbol{H}_{t+1}
H t + 1
循环神经网络中如何通过时间反向传播？ 一文中介绍了循环神经网络中的梯度计算方法。我们发现，当时间步数较大或者时间步较小时，循环神经网络的梯度较容易出现衰减或爆炸。虽然裁剪梯度可以应对梯度爆炸，但无法解决梯度衰减的问题。通常由于这个原因，循环神经网络在实际中较难捕捉时间序列中时间步距离较大的依赖关系。
门控循环神经网络（gated recurrent neural network）的提出，正是为了更好地捕捉时间序列中时间步距离较大的依赖关系。它通过可以学习的门来控制信息的流动。其中，门控循环单元（gated recurrent unit，GRU）是一种常用的门控循环神经网络。
如下图所示，门控循环单元中的重置门和更新门的输入均为当前时间步输入
X
t
\boldsymbol{X}_t
X t
H
t
−
1
\boldsymbol{H}_{t-1}
H t − 1 sigmoid 函数的全连接层计算得到。
n
n
n
d
d
d
h
h
h
t
t
t
X
t
∈
R
n
×
d
\boldsymbol{X}_t \in \mathbb{R}^{n \times d}
X t ∈ R n × d
H
t
−
1
∈
R
n
×
h
\boldsymbol{H}_{t-1} \in \mathbb{R}^{n \times h}
H t − 1 ∈ R n × h
R
t
∈
R
n
×
h
\boldsymbol{R}_t \in \mathbb{R}^{n \times h}
R t ∈ R n × h
Z
t
∈
R
n
×
h
\boldsymbol{Z}_t \in \mathbb{R}^{n \times h}
Z t ∈ R n × h
R
t
=
σ
(
X
t
W
x
r
+
H
t
−
1
W
h
r
+
b
r
)
\boldsymbol{R}_t = \sigma(\boldsymbol{X}_t \boldsymbol{W}_{xr} + \boldsymbol{H}_{t-1} \boldsymbol{W}_{hr} + \boldsymbol{b}_r)
R t = σ ( X t W x r + H t − 1 W h r + b r )
Z
t
=
σ
(
X
t
W
x
z
+
H
t
−
1
W
h
z
+
b
z
)
\boldsymbol{Z}_t = \sigma(\boldsymbol{X}_t \boldsymbol{W}_{xz} + \boldsymbol{H}_{t-1} \boldsymbol{W}_{hz} + \boldsymbol{b}_z)
Z t = σ ( X t W x z + H t − 1 W h z + b z )
其中
W
x
r
,
W
x
z
∈
R
d
×
h
\boldsymbol{W}_{xr}, \boldsymbol{W}_{xz} \in \mathbb{R}^{d \times h}
W x r , W x z ∈ R d × h
W
h
r
,
W
h
z
∈
R
h
×
h
\boldsymbol{W}_{hr}, \boldsymbol{W}_{hz} \in \mathbb{R}^{h \times h}
W h r , W h z ∈ R h × h
b
r
,
b
z
∈
R
1
×
h
\boldsymbol{b}_r, \boldsymbol{b}_z \in \mathbb{R}^{1 \times h}
b r , b z ∈ R 1 × h sigmoid 函数可以将元素的值变换到0和1之间。因此，重置门
R
t
\boldsymbol{R}_t
R t
Z
t
\boldsymbol{Z}_t
Z t
[
0
,
1
]
[0, 1]
[ 0 , 1 ]
接下来，门控循环单元将计算候选隐藏状态来辅助稍后的隐藏状态计算。如下图所示，我们将当前时间步重置门的输出与上一时间步隐藏状态做按元素乘法（符号为
⊙
\odot
⊙ tanh 的全连接层计算出候选隐藏状态，其所有元素的值域为
[
−
1
,
1
]
[-1, 1]
[ − 1 , 1 ]
t
t
t
H
~
t
∈
R
n
×
h
\tilde{\boldsymbol{H}}_t \in \mathbb{R}^{n \times h}
H ~ t ∈ R n × h
H
~
t
=
tanh
(
X
t
W
x
h
+
(
R
t
⊙
H
t
−
1
)
W
h
h
+
b
h
)
\tilde{\boldsymbol{H}}_t = \text{tanh}(\boldsymbol{X}_t \boldsymbol{W}_{xh} + \left(\boldsymbol{R}_t \odot \boldsymbol{H}_{t-1}\right) \boldsymbol{W}_{hh} + \boldsymbol{b}_h)
H ~ t = tanh ( X t W x h + ( R t ⊙ H t − 1 ) W h h + b h )
其中
W
x
h
∈
R
d
×
h
\boldsymbol{W}_{xh} \in \mathbb{R}^{d \times h}
W x h ∈ R d × h
W
h
h
∈
R
h
×
h
\boldsymbol{W}_{hh} \in \mathbb{R}^{h \times h}
W h h ∈ R h × h
b
h
∈
R
1
×
h
\boldsymbol{b}_h \in \mathbb{R}^{1 \times h}
b h ∈ R 1 × h
最后，时间步
t
t
t
H
t
∈
R
n
×
h
\boldsymbol{H}_t \in \mathbb{R}^{n \times h}
H t ∈ R n × h
Z
t
\boldsymbol{Z}_t
Z t
H
t
−
1
\boldsymbol{H}_{t-1}
H t − 1
H
~
t
\tilde{\boldsymbol{H}}_t
H ~ t
H
t
=
Z
t
⊙
H
t
−
1
+
(
1
−
Z
t
)
⊙
H
~
t
\boldsymbol{H}_t = \boldsymbol{Z}_t \odot \boldsymbol{H}_{t-1} + (1 - \boldsymbol{Z}_t) \odot \tilde{\boldsymbol{H}}_t
H t = Z t ⊙ H t − 1 + ( 1 − Z t ) ⊙ H ~ t
t
′
t'
t ′
t
t
t
t
′
<
t
t' < t
t ′ < t
t
′
t'
t ′
t
t
t
t
t
t
H
t
\boldsymbol{H}_t
H t
H
t
′
−
1
\boldsymbol{H}_{t'-1}
H t ′ − 1
t
t
t
将上面得到的隐藏状态
H
t
H_t
H t
Y
t
∈
R
n
×
q
\boldsymbol{Y}_t \in \mathbb{R}^{n \times q}
Y t ∈ R n × q
Y
t
=
H
t
W
h
q
+
b
q
\boldsymbol{Y}_t = \boldsymbol{H}_t \boldsymbol{W}_{hq} + \boldsymbol{b}_q
Y t = H t W h q + b q
总结来说：
重置门有助于捕捉时间序列里短期的依赖关系；
更新门有助于捕捉时间序列里长期的依赖关系。
LSTM 中引入了3个门，即输入门（input gate）、遗忘门（forget gate）和输出门（output gate），以及与隐藏状态形状相同的记忆细胞（某些文献把记忆细胞当成一种特殊的隐藏状态），从而记录额外的信息。
与门控循环单元中的重置门和更新门一样，如下图所示，长短期记忆的门的输入均为当前时间步输入
X
t
\boldsymbol{X}_t
X t
H
t
−
1
\boldsymbol{H}_{t-1}
H t − 1 sigmoid 函数的全连接层计算得到。如此一来，这3个门元素的值域均为
[
0
,
1
]
[0,1]
[ 0 , 1 ]
n
n
n
d
d
d
h
h
h
t
t
t
X
t
∈
R
n
×
d
\boldsymbol{X}_t \in \mathbb{R}^{n \times d}
X t ∈ R n × d
H
t
−
1
∈
R
n
×
h
\boldsymbol{H}_{t-1} \in \mathbb{R}^{n \times h}
H t − 1 ∈ R n × h
t
t
t
I
t
∈
R
n
×
h
\boldsymbol{I}_t \in \mathbb{R}^{n \times h}
I t ∈ R n × h
F
t
∈
R
n
×
h
\boldsymbol{F}_t \in \mathbb{R}^{n \times h}
F t ∈ R n × h
O
t
∈
R
n
×
h
\boldsymbol{O}_t \in \mathbb{R}^{n \times h}
O t ∈ R n × h
I
t
=
σ
(
X
t
W
x
i
+
H
t
−
1
W
h
i
+
b
i
)
\boldsymbol{I}_t = \sigma(\boldsymbol{X}_t \boldsymbol{W}_{xi} + \boldsymbol{H}_{t-1} \boldsymbol{W}_{hi} + \boldsymbol{b}_i)
I t = σ ( X t W x i + H t − 1 W h i + b i )
F
t
=
σ
(
X
t
W
x
f
+
H
t
−
1
W
h
f
+
b
f
)
\boldsymbol{F}_t = \sigma(\boldsymbol{X}_t \boldsymbol{W}_{xf} + \boldsymbol{H}_{t-1} \boldsymbol{W}_{hf} + \boldsymbol{b}_f)
F t = σ ( X t W x f + H t − 1 W h f + b f )
O
t
=
σ
(
X
t
W
x
o
+
H
t
−
1
W
h
o
+
b
o
)
\boldsymbol{O}_t = \sigma(\boldsymbol{X}_t \boldsymbol{W}_{xo} + \boldsymbol{H}_{t-1} \boldsymbol{W}_{ho} + \boldsymbol{b}_o)
O t = σ ( X t W x o + H t − 1 W h o + b o )
其中的
W
x
i
,
W
x
f
,
W
x
o
∈
R
d
×
h
\boldsymbol{W}_{xi}, \boldsymbol{W}_{xf}, \boldsymbol{W}_{xo} \in \mathbb{R}^{d \times h}
W x i , W x f , W x o ∈ R d × h
W
h
i
,
W
h
f
,
W
h
o
∈
R
h
×
h
\boldsymbol{W}_{hi}, \boldsymbol{W}_{hf}, \boldsymbol{W}_{ho} \in \mathbb{R}^{h \times h}
W h i , W h f , W h o ∈ R h × h
b
i
,
b
f
,
b
o
∈
R
1
×
h
\boldsymbol{b}_i, \boldsymbol{b}_f, \boldsymbol{b}_o \in \mathbb{R}^{1 \times h}
b i , b f , b o ∈ R 1 × h
接下来，长短期记忆需要计算候选记忆细胞
C
~
t
\tilde{\boldsymbol{C}}_t
C ~ t
[
−
1
,
1
]
[-1, 1]
[ − 1 , 1 ] tanh 函数作为激活函数，如下图所示。
t
t
t
C
~
t
∈
R
n
×
h
\tilde{\boldsymbol{C}}_t \in \mathbb{R}^{n \times h}
C ~ t ∈ R n × h
C
~
t
=
tanh
(
X
t
W
x
c
+
H
t
−
1
W
h
c
+
b
c
)
\tilde{\boldsymbol{C}}_t = \text{tanh}(\boldsymbol{X}_t \boldsymbol{W}_{xc} + \boldsymbol{H}_{t-1} \boldsymbol{W}_{hc} + \boldsymbol{b}_c)
C ~ t = tanh ( X t W x c + H t − 1 W h c + b c )
其中
W
x
c
∈
R
d
×
h
\boldsymbol{W}_{xc} \in \mathbb{R}^{d \times h}
W x c ∈ R d × h
W
h
c
∈
R
h
×
h
\boldsymbol{W}_{hc} \in \mathbb{R}^{h \times h}
W h c ∈ R h × h
b
c
∈
R
1
×
h
\boldsymbol{b}_c \in \mathbb{R}^{1 \times h}
b c ∈ R 1 × h
我们可以通过元素值域在
[
0
,
1
]
[0, 1]
[ 0 , 1 ]
⊙
\odot
⊙
C
t
∈
R
n
×
h
\boldsymbol{C}_t \in \mathbb{R}^{n \times h}
C t ∈ R n × h
C
t
=
F
t
⊙
C
t
−
1
+
I
t
⊙
C
~
t
.
\boldsymbol{C}_t = \boldsymbol{F}_t \odot \boldsymbol{C}_{t-1} + \boldsymbol{I}_t \odot \tilde{\boldsymbol{C}}_t.
C t = F t ⊙ C t − 1 + I t ⊙ C ~ t .
如下图所示，遗忘门控制上一时间步的记忆细胞
C
t
−
1
\boldsymbol{C}_{t-1}
C t − 1
X
t
\boldsymbol{X}_t
X t
C
~
t
\tilde{\boldsymbol{C}}_t
C ~ t
有了记忆细胞以后，接下来我们还可以通过输出门来控制从记忆细胞到隐藏状态
H
t
∈
R
n
×
h
\boldsymbol{H}_t \in \mathbb{R}^{n \times h}
H t ∈ R n × h
H
t
=
O
t
⊙
tanh
(
C
t
)
.
\boldsymbol{H}_t = \boldsymbol{O}_t \odot \text{tanh}(\boldsymbol{C}_t).
H t = O t ⊙ tanh ( C t ) .
这里的 tanh 函数确保隐藏状态元素值在-1到1之间。需要注意的是，当输出门近似1时，记忆细胞信息将传递到隐藏状态供输出层使用；当输出门近似0时，记忆细胞信息只自己保留。下图展示了长短期记忆中隐藏状态的计算。
长短期记忆的隐藏层输出包括隐藏状态和记忆细胞，但只有隐藏状态会传递到输出层，而记忆细胞不参与输出层的计算。
H
t
H_t
H t
Y
t
∈
R
n
×
q
\boldsymbol{Y}_t \in \mathbb{R}^{n \times q}
Y t ∈ R n × q
Y
t
=
H
t
W
h
q
+
b
q
\boldsymbol{Y}_t = \boldsymbol{H}_t \boldsymbol{W}_{hq} + \boldsymbol{b}_q
Y t = H t W h q + b q
到目前为止所涉及的循环神经网络只有一个单向的隐藏层，在深度学习应用里，我们通常会用到含有多个隐藏层的循环神经网络，也称作深度循环神经网络。下图演示了一个有
L
L
L
t
t
t
X
t
∈
R
n
×
d
\boldsymbol{X}_t \in \mathbb{R}^{n \times d}
X t ∈ R n × d
n
n
n
d
d
d
ℓ
\ell
ℓ
ℓ
=
1
,
…
,
L
\ell=1,\ldots,L
ℓ = 1 , … , L
H
t
(
ℓ
)
∈
R
n
×
h
\boldsymbol{H}_t^{(\ell)} \in \mathbb{R}^{n \times h}
H t ( ℓ ) ∈ R n × h
h
h
h
O
t
∈
R
n
×
q
\boldsymbol{O}_t \in \mathbb{R}^{n \times q}
O t ∈ R n × q
q
q
q
ϕ
\phi
ϕ
H
t
(
1
)
=
ϕ
(
X
t
W
x
h
(
1
)
+
H
t
−
1
(
1
)
W
h
h
(
1
)
+
b
h
(
1
)
)
,
\boldsymbol{H}_t^{(1)} = \phi(\boldsymbol{X}_t \boldsymbol{W}_{xh}^{(1)} + \boldsymbol{H}_{t-1}^{(1)} \boldsymbol{W}_{hh}^{(1)} + \boldsymbol{b}_h^{(1)}),
H t ( 1 ) = ϕ ( X t W x h ( 1 ) + H t − 1 ( 1 ) W h h ( 1 ) + b h ( 1 ) ) ,
其中权重
W
x
h
(
1
)
∈
R
d
×
h
\boldsymbol{W}_{xh}^{(1)} \in \mathbb{R}^{d \times h}
W x h ( 1 ) ∈ R d × h
W
h
h
(
1
)
∈
R
h
×
h
\boldsymbol{W}_{hh}^{(1)} \in \mathbb{R}^{h \times h}
W h h ( 1 ) ∈ R h × h
b
h
(
1
)
∈
R
1
×
h
\boldsymbol{b}_h^{(1)} \in \mathbb{R}^{1 \times h}
b h ( 1 ) ∈ R 1 × h
当
1
<
ℓ
≤
L
1 < \ell \leq L
1 < ℓ ≤ L
ℓ
\ell
ℓ
H
t
(
ℓ
)
=
ϕ
(
H
t
(
ℓ
−
1
)
W
x
h
(
ℓ
)
+
H
t
−
1
(
ℓ
)
W
h
h
(
ℓ
)
+
b
h
(
ℓ
)
)
,
\boldsymbol{H}_t^{(\ell)} = \phi(\boldsymbol{H}_t^{(\ell-1)} \boldsymbol{W}_{xh}^{(\ell)} + \boldsymbol{H}_{t-1}^{(\ell)} \boldsymbol{W}_{hh}^{(\ell)} + \boldsymbol{b}_h^{(\ell)}),
H t ( ℓ ) = ϕ ( H t ( ℓ − 1 ) W x h ( ℓ ) + H t − 1 ( ℓ ) W h h ( ℓ ) + b h ( ℓ ) ) ,
其中权重
W
x
h
(
ℓ
)
∈
R
h
×
h
\boldsymbol{W}_{xh}^{(\ell)} \in \mathbb{R}^{h \times h}
W x h ( ℓ ) ∈ R h × h
W
h
h
(
ℓ
)
∈
R
h
×
h
\boldsymbol{W}_{hh}^{(\ell)} \in \mathbb{R}^{h \times h}
W h h ( ℓ ) ∈ R h × h
b
h
(
ℓ
)
∈
R
1
×
h
\boldsymbol{b}_h^{(\ell)} \in \mathbb{R}^{1 \times h}
b h ( ℓ ) ∈ R 1 × h
ℓ
\ell
ℓ
最终，输出层的输出只需基于第
L
L
L
O
t
=
H
t
(
L
)
W
h
q
+
b
q
,
\boldsymbol{O}_t = \boldsymbol{H}_t^{(L)} \boldsymbol{W}_{hq} + \boldsymbol{b}_q,
O t = H t ( L ) W h q + b q ,
其中权重
W
h
q
∈
R
h
×
q
\boldsymbol{W}_{hq} \in \mathbb{R}^{h \times q}
W h q ∈ R h × q
b
q
∈
R
1
×
q
\boldsymbol{b}_q \in \mathbb{R}^{1 \times q}
b q ∈ R 1 × q
同多层感知机一样，隐藏层个数
L
L
L
h
h
h
之前介绍的循环神经网络模型都是假设当前时间步是由前面的较早时间步的序列决定的，因此它们都将信息通过隐藏状态从前往后传递。有时候，当前时间步也可能由后面时间步决定。例如，当我们写下一个句子时，可能会根据句子后面的词来修改句子前面的用词。双向循环神经网络通过增加从后往前传递信息的隐藏层来更灵活地处理这类信息。下图演示了一个含单隐藏层的双向循环神经网络的架构。
t
t
t
X
t
∈
R
n
×
d
\boldsymbol{X}_t \in \mathbb{R}^{n \times d}
X t ∈ R n × d
n
n
n
d
d
d
ϕ
\phi
ϕ
H
→
t
∈
R
n
×
h
\overrightarrow{\boldsymbol{H}}_t \in \mathbb{R}^{n \times h}
H
t ∈ R n × h
h
h
h
H
←
t
∈
R
n
×
h
\overleftarrow{\boldsymbol{H}}_t \in \mathbb{R}^{n \times h}
H
t ∈ R n × h
h
h
h
H
→
t
=
ϕ
(
X
t
W
x
h
(
f
)
+
H
→
t
−
1
W
h
h
(
f
)
+
b
h
(
f
)
)
,
H
←
t
=
ϕ
(
X
t
W
x
h
(
b
)
+
H
←
t
+
1
W
h
h
(
b
)
+
b
h
(
b
)
)
\begin{aligned} \overrightarrow{\boldsymbol{H}}_t &= \phi(\boldsymbol{X}_t \boldsymbol{W}_{xh}^{(f)} + \overrightarrow{\boldsymbol{H}}_{t-1} \boldsymbol{W}_{hh}^{(f)} + \boldsymbol{b}_h^{(f)}),\ \overleftarrow{\boldsymbol{H}}_t &= \phi(\boldsymbol{X}_t \boldsymbol{W}_{xh}^{(b)} + \overleftarrow{\boldsymbol{H}}_{t+1} \boldsymbol{W}_{hh}^{(b)} + \boldsymbol{b}_h^{(b)}) \end{aligned}
H
t = ϕ ( X t W x h ( f ) + H
t − 1 W h h ( f ) + b h ( f ) ) , H
t = ϕ ( X t W x h ( b ) + H
t + 1 W h h ( b ) + b h ( b ) )
其中权重
W
x
h
(
f
)
∈
R
d
×
h
\boldsymbol{W}_{xh}^{(f)} \in \mathbb{R}^{d \times h}
W x h ( f ) ∈ R d × h
W
h
h
(
f
)
∈
R
h
×
h
\boldsymbol{W}_{hh}^{(f)} \in \mathbb{R}^{h \times h}
W h h ( f ) ∈ R h × h
W
x
h
(
b
)
∈
R
d
×
h
\boldsymbol{W}_{xh}^{(b)} \in \mathbb{R}^{d \times h}
W x h ( b ) ∈ R d × h
W
h
h
(
b
)
∈
R
h
×
h
\boldsymbol{W}_{hh}^{(b)} \in \mathbb{R}^{h \times h}
W h h ( b ) ∈ R h × h
b
h
(
f
)
∈
R
1
×
h
\boldsymbol{b}_h^{(f)} \in \mathbb{R}^{1 \times h}
b h ( f ) ∈ R 1 × h
b
h
(
b
)
∈
R
1
×
h
\boldsymbol{b}_h^{(b)} \in \mathbb{R}^{1 \times h}
b h ( b ) ∈ R 1 × h
然后我们连结两个方向的隐藏状态
H
→
t
\overrightarrow{\boldsymbol{H}}_t
H
t
H
←
t
\overleftarrow{\boldsymbol{H}}_t
H
t
H
t
∈
R
n
×
2
h
\boldsymbol{H}_t \in \mathbb{R}^{n \times 2h}
H t ∈ R n × 2 h
O
t
∈
R
n
×
q
\boldsymbol{O}_t \in \mathbb{R}^{n \times q}
O t ∈ R n × q
q
q
q
O
t
=
H
t
W
h
q
+
b
q
\boldsymbol{O}_t = \boldsymbol{H}_t \boldsymbol{W}_{hq} + \boldsymbol{b}_q
O t = H t W h q + b q
其中权重
W
h
q
∈
R
2
h
×
q
\boldsymbol{W}_{hq} \in \mathbb{R}^{2h \times q}
W h q ∈ R 2 h × q
b
q
∈
R
1
×
q
\boldsymbol{b}_q \in \mathbb{R}^{1 \times q}
b q ∈ R 1 × q
具体来说，假设样本数为
、输入个数为
（即每个样本包含的元素数，一般为词典大小）、隐藏单元个数为
，给定时间步
的小批量输入
和上一时间步隐藏状态
。重置门
和更新门
的计算如下：
值得注意的是，更新门可以控制隐藏状态应该如何被包含当前时间步信息的候选隐藏状态所更新，如上图所示。假设更新门在时间步
到
（
）之间一直近似于1。那么，在时间步
到
之间的输入信息几乎没有流入时间步
的隐藏状态
。实际上，这可以看作是较早时刻的隐藏状态
一直通过时间保存并传递至当前时间步
。这个设计可以应对循环神经网络中的梯度衰减问题，并更好地捕捉时间序列中时间步距离较大的依赖关系（即长期的依赖关系）。
