【NLP】NMT之RNN结构

RNN一般有三种结构：vanilla RNN，LSTM，GRU。

1. vanilla RNN

最简单的RNN：

2. GRU

使用两个门，reset使用多少过去cell的信息，update门控制该信息有多少用于更新当前cell，在GRU中a即为 c。

3. LSTM

使用三个门。

4. attention model

attention 也用于缓解long-tem dependency。

使用前往网络训练计算：