03--11 RNN网络结构&RNN网络细节

递归神经网络逻辑图

在中间的隐藏层我们做了一些变换，在隐藏层中添加了信息保留操作。

如上图可以看，RNN网络结构就像这样。x1输入到A，同时上层结果留下来的A也输入到后面，这样就可以把上层得到的结果作为下层的输入，这就叫循环神经网络。

首先，每一步都有一个xt，xt表示第t=1,2,3........步（step）的输入

st为隐藏层的第t步状态，它是网络的记忆单元。

V是一个全连接的操作，

ot是第t步的输出，如下个单词的向量表示softmax（Vst）。