1. 原理：描述一下细胞状态和三个门。
LSTM（长效短期记忆神经网络）是一种特殊的RNN，它能够学习到长的依赖关系。
细胞状态和三个门结构，遗忘门，输入输出门。
第一步是决定从细胞状态中丢弃什么信息（图一），由“忘记门”的Sigmoid层实现（0代表不通过任何信息，1代表全部通过）。
下一步决定我们要在细胞状态中存储什么信息。具体操作分为两部分，一是决定在细胞中更新哪些值，产生it和Ct两个新向量（图二），然后进行计算，即上一个状态值Ct乘以ft，再加上it*Ct，得到新的候选值（图三）；
最后输出为Ct（单元格状态）通过tanh（将值规范化到-1和1之间），并乘以Sigmoid门输出到下一个单元。
2. LSTM变体
- Siamese LSTM孪生神经网络，两个LSTM共享权重，用来对比两个input的相似程度。
- GRU则是LSTM的一个变体，GRU只有两个门了，分别为更新门和重置门。更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时刻的状态信息带入越多。重置门用于控制忽略前一时刻的状态信息的程度，重置门的值越小说明忽略得越多。