RNN循环神经网络笔记汇总

正向传播:
反向传播:Tanh函数(-1~+1,可以防止梯度爆炸)
多层网络与双向网络

长短期记忆网络(LSTM)
1.为什么需要LSTM:普通RNN的信息不能长久传播(只存在于理论中)
2. 引入选择性机制:选择性输出,输入,遗忘
3. 选择性->门

猜你喜欢

转载自blog.csdn.net/qq_36309884/article/details/88875948