RNN


T_X表示输入字段的长度;T_y表示输出字段的长度。



怎样表示句子的单词:One-hot




神经网络是从左向右扫描数据,同时每个时间步的参数是共享的。


每个时间步数具有相同的参数。


这些参数是怎么起作用的。在预测y_3时,不仅和x_3有关,而且和x_2、x_1路径有关。


若想知道序列的姓名,需要双向的(BRNN),仅仅从前面信息无从得知。所以我们需要从前往后->从后往前得知y_3的预测值。


根据y的预测值的几分类问题将决定使用哪种激活函数。关关于激活函数,大多数用Tanh和RELU。


w_a和b_a是参数。

反向神经网络的运作:

上述讲解的是输入、输出的序列长度一致。

不同类型的循环神经网络

当T-x和T-y的序列数量不相等的时候。






猜你喜欢

转载自blog.csdn.net/weixin_40446764/article/details/80016485
RNN