【深度学习】RNN | GRU | LSTM

目录：

1、RNN

2、GRU

3、LSTM

一、RNN

1、RNN结构图如下所示：

其中：

$a^{(t)} = \boldsymbol{W}h^{t-1} + \boldsymbol{W}_{e}x^{t} + \mathbf{b}$

$h^{t} = f(a^{t})$, f 是激励函数，sigmoid或者tanh

$\hat{y}^{t} = Uh^{t}$

2、RNN中的梯度消失与梯度膨胀

二、GRU

三、LSTM