极简说明 RNN LSTM GRU 结构和公式

RNN

 

 u,v,w是为了展示所乘的矩阵不同,ht激活使用tanh

 LSTM

 

 ft、it、ot 激活使用 sigmoid   ct激活使用tanh

GRU

GRU是LSTM的简单版本,合并内部自循环Cell与隐藏层hidden,合并遗忘门、输入门为更新门z,新增重置门r,删除输出门

 zt、rt激活使用 sigmoid   h~激活使用tanh

猜你喜欢

转载自blog.csdn.net/weixin_48185819/article/details/127291059