LSTM 及 GRU 介绍

1、普通RNN

　　处理序列数据的神经网络。

2、LSTM

　　LSTM全名是long short-term memory 长短期记忆， 是一种特殊的RNN， 主要为了解决长序列训练过程中的梯度消失和梯度爆炸问题。

　　相比普通RNN， LSTM能够在更长的序列中有更好的表现。

LSTM 内部主要有三个阶段：

(1) 忘记阶段；

　　对上一个节点传进来的输入进行选择性忘记。"忘记不重要的， 记住重要的"。

通过忘记门控实现。

(2) 选择记忆阶段；

　　将这个阶段的输入有选择地进行"记忆"。哪些重要则着重记录下来，哪些不重要则少记一些。

(3) 输出阶段。

3、总结