RNN没有机制去关注某些地方，或者不关注某些地方。
门控神经网络，通过一些gating单元使得我们在构造隐藏状态的时候可以选择重要的，忘记不重要的。同注意力机制。
更新门：发现一个数据比较重要，想要尽量用它去更新隐藏状态。
遗忘门（重置门）：发现一个到目前为止不重要的，可能是输入，或者是隐藏状态里的一部分。
上图表示一个层， 有一个输入：；一个隐藏状态
.
候选隐状态：去掉,隐状态计算方法同RNN。
：按元素乘法的意思。
如果的元素靠近0，
的结果就会靠近0.
真正的隐状态是按元素点乘上一次的隐状态+（1-
)点乘候选隐藏状态。
如果=0：基本就回到了RNN的状态。不去看过去的状态，只看现在的状态。
