P43：RNN

源视频

        RNN的简单形式（或者可以称呼它为Short-Term Memory）：

1. 这个简单的RNN只能记忆上一次的输入信息，所以可以称为short-Term Memory；
2. RNN一个明显的特点就是相同输入，不同的输入顺序可能就会得到不同的输出；

        Long Short-Term Memory（LSTM）：

与上面的相比，下图多了三个控制，Input Gate、Forget Gate和Output Gate，所以它的“记忆”可能会好，所以加了一个Long。

LSTM的节点如何计算：

LSTM的最终形态：