【笔记】循环神经网络RNN(反向传播公式推导)、LSTM、GRU:RNN对具有序列特性的数据非常有效,可以捕捉时序信息以及语义信息,适用于语音识别、语言模型、机器翻译以及时序分析等NLP领域

注:

最基础版RNN那里可以不用把向量拆开讲,那样反而繁琐并且不容易对照公式,可以直接说U=V=W=[[1,1],[1,1]],直接对着公式用矩阵外积可能更好。

注:

一文搞懂RNN(循环神经网络)基础篇 - 知乎

“我”“吃”苹果”这三个词汇是在不同的时刻输入到rnn网络的把。“吃”训练出来的权重,会输入到“苹果”的模型的隐层中。

RNN公式推导:

 

 

 

 

循环神经网络(RNN)模型与前向反向传播算法 - 刘建平Pinard - 博客园

一文搞懂RNN(循环神经网络)基础篇 - 知乎

RNN结构理解和双向、深层RNN - 知乎

正文:

 

 

从反向传播推导到梯度消失and爆炸的原因及解决方案(从DNN到RNN,内附详细反向传播公式推导) - 知乎 

史上最详细循环神经网络讲解(RNN/LSTM/GRU) - 知乎

Guess you like

Origin blog.csdn.net/nyist_yangguang/article/details/121900203