李宏毅深度学习笔记（十三）LSTM（长短期记忆网络）

1.结构

2.计算

例1：
假设 $x_1$， $x_2$， $x_3$均为输入，当 $x_2=1$的时候将 $x_1$加入记忆单元，当 $x_2=-1$时将将记忆单元清空，当 $x_3=1$的时候输出记忆单元里面的数值。根据规则，最开始记忆单元里面存储的是0，当输入 $x_1=1$时因为 $x_2=0$， $x_3=0$所以记忆单元和输出都不工作，到了第二列，因为 $x_1=3$， $x_2=1$， $x_3=0$，所以将 $x_1=3$加入记忆单元，输出依旧为0，第三列， $x_1=2$， $x_2=0$， $x_3=0$，所以 $x_1=2$不会被加入到记忆单元，输出依旧为0，第四列 $x_1=4$， $x_2=1$， $x_3=0$，所以 $x_1=4$会被加入到记忆单元此时记忆单元变为7，输出依然为零，直到出现 $x_3=1$，记忆单元的数才会被输出。

例2：

还是假设最开始记忆单元里面储存的是0，经过函数 $g(x)$可以得到3，经过Input Gate的sigmoid函数可以求出1，经过Output Gate的sigmoid函数计算出0，经过Forget Gate的sigmoid函数计算出1，然后根据上面的公式就可以算出最终的输出。

3.LSTM与传统神经网络的联系

我们只要把LSTM看作是传统神经网络的一个神经元(neuron)即可
另外，LSTM需要四个输入

4.LSTM的最终形态

LSTM的四个输入都是从最初始的x乘以不同的权重得来的，然后还要考虑上一个时间点的 $c^t$和 $h^t$。

5.LSTM的数学公式

将上图的LSTM封装起来就是：
输入 $x_t$和上一个时间点的隐藏状态 $h_{t-1}$相加经过一个sigmoid函数得 $f_t$。
所以遗忘门(foget gate)的路径和式子是：
输入 $x_t$和上一个时间点的隐藏状态 $h_{t-1}$相加经过一个sigmoid函数得 $i_t$,这是一个输入门，
记忆单元 $C_t$的值由上面提到的几个式子决定：

输出 $o_t$和这一个时刻的隐藏状态 $h_t$式子如下
注： $[h_{t-1},x_t]$表示把两个向量连接成一个更长的向量

Pytorch中LSTM的参数与案例理解.
Pytorch中文文档.
LSTM.
重推：详解LSTM.
刘建平讲LSTM.
pytorch实现LSTM.
外国大神的博文.
Understanding LSTM Networks.