RNN
u,v,w是为了展示所乘的矩阵不同,ht激活使用tanh
LSTM
ft、it、ot 激活使用 sigmoid ct激活使用tanh
GRU
GRU是LSTM的简单版本,合并内部自循环Cell与隐藏层hidden,合并遗忘门、输入门为更新门z,新增重置门r,删除输出门
zt、rt激活使用 sigmoid h~激活使用tanh
RNN
u,v,w是为了展示所乘的矩阵不同,ht激活使用tanh
LSTM
ft、it、ot 激活使用 sigmoid ct激活使用tanh
GRU
GRU是LSTM的简单版本,合并内部自循环Cell与隐藏层hidden,合并遗忘门、输入门为更新门z,新增重置门r,删除输出门
zt、rt激活使用 sigmoid h~激活使用tanh