二、NLP学习之RNN模型

RNN模型(Recurrent Neural Network)
一、原始RNN模型
在这里插入图片描述
x是一个向量,表示输入层的值,s也是一个向量,表示隐藏层的值(这里的隐藏层只画了一个节点,其实这一层是有多个节点的,节点的数量与向量s的维度相同)

U是输入层到隐藏层的权重矩阵,O也是一个向量,表示输出层的值,V是隐藏层到输出层的权重矩阵

循环神经网络的隐藏层的值s不仅仅取决于当前这次的输入x,还取决于上一次隐藏层的值s。权重矩阵W就是隐藏层上一次的值作为这次输入的权重
在这里插入图片描述

发布了18 篇原创文章 · 获赞 0 · 访问量 148

猜你喜欢

转载自blog.csdn.net/weixin_43979941/article/details/104868502