LSTM(李宏毅讲解)

1.首先一个特征输入,会有一个输入门来控制能不能输入,然后在学习之后要输出的时候,需要有一个输出门来控制要不要输出,在这个记忆细胞内部,会有一个遗忘门来控制这个细胞要不要忘记信息。

所以lstm有四个输入:外界要输入的信息、Input gate 、forgetgate 、output gate

 图1 lstm

2.lstm结构抽象一下就如下所示。很明显的能看到有四个输入

输入信号:Z

Input gate :Zi,只有超过这个值,才能打开输入门,把数据Z输入

forgetgate :Zf,只有超过这个值,才能开启遗忘门,记得。关闭是忘记

output gate:Zo,只有超过这个值,才能开启输出门,把信号输出为a

 3.

 4.LSTM举例

首先设置规则,也就是三种门:当x2等于1,数据能被输入到记忆细胞;x2等于-1,数据被遗忘;x3等于1,数据能够被输出

最上面蓝色的是记忆细胞,最开始里面是0

第一列是0,到第二列x2等于1,那么x1被写到记忆细胞,也就是3写到记忆细胞(第三列蓝色块)

第三列x2和x3都是0,不操作,第四列x2等于1,则x1的4被写到记忆细胞(3+4=7),第五列x2和x3都是0,不操作,第六列x3等于1,输出记忆细胞的7,所以y等于7

 

5.ct-1就是cell,xt就是输入,下面四个绿色的就是前面提到的输入门控制,输出门控制,遗忘门控制

 6.

猜你喜欢

转载自blog.csdn.net/qq_46073783/article/details/131483881