1、LSTM的第一步是决定我们要从细胞状态中扔掉什么信息。这个决定是由一个称为“忘记门层”的sigmoid 层组成。
选择保持记忆传递，还是忘记。
例如：
记忆：语言模型，试图根据前面所有的单词来预测下一个单词。
忘记：拥有当前的主题类别，我们想换新的主题类别，就要忘记当前的主题类别。
2、第二步是决定什么样新的信息我们将保存在细胞状态中。这里面包含两部分。
a.首先一个sigmoid 层，叫做输入门层决定什么的值我们将会更新。
b. 接着tanh层会创建一个候选向量 C,它可以被添加到状态当中。
在我们的语言模型的例子中，我们希望把新主题的性别添加到单元格状态，以替换我们遗忘的旧的。
C ̃
