RNN及LSTM的简单理解

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/x18835129278/article/details/79156109

由于还没有最终理解RNN和LSTM,因此只是做一下记录,后面完全理解后会将此博文进行修改,也希望各位大佬在留言区批评指正。

RNN
单个时刻t的NN

t-1,t,t+1时刻的NN,下标t表示时刻,x表示相应时刻下的输入,o表示相应时刻下的输出,s表示相应时刻下的状态,t时刻的输入会组合t-1时刻的状态以及t时刻的输入。

RNN会存在梯度弥散和梯度爆炸的问题,无法实现长期的记忆。因此提出长短期记忆(LSTM)算法。
LSTM由输入门、遗忘门和输出门组成。

B站上莫烦老师的视频介绍的很清楚:https://www.bilibili.com/video/av16001891/?from=search&seid=17529262142442291768#page=30
这篇博文在结构上介绍的很清楚:https://www.jianshu.com/p/9dc9f41f0b29

但是,以上这些都没有一个很清晰的例子来介绍每一步该怎样进行,很难直观的去理解,所以计划在后面的学习过程中找一个例子完整地将每一步都解释清楚。也希望各位在留言区提出想法。

猜你喜欢

转载自blog.csdn.net/x18835129278/article/details/79156109