上次提到水平线是无法实现信息的删减与添加的，但是门却可以解决这个问题。介绍门之前，先介绍sigmoid层：一个输出向量在0~1之间的层。门有三类：遗忘门，输入门，输出门。遗忘门的作用是控制记忆单元，决定上一时刻的状态保留多少到当前时刻，通过一个sigmoid层实现遗忘部分，那个0~1之间的映射就是记忆衰减系数，遗忘门的存在也是LSTM能够记住长期记忆的保证。输入门的作用是决定保留多少当前时刻的输入到当前状态，输入门主要负责cell状态的更新，更新简言之就是忘记一部分，再记住一些新信息。忘记的那部分由遗忘门ft与上一时刻的状态Ct-1的哈达玛积组成，更新的部分就是输入门两部分it,ct~的哈达玛积。输入门，负责输出多少，主要是隐藏状态ht的更新，更新也有两部分，一部分是上一时刻隐藏状态ht，当前输入xt，sigmoid函数组成；另一部分由当前细胞状态Ct与tanh函数组成。
to be continued
BY ZJQ