T_X表示输入字段的长度;T_y表示输出字段的长度。
怎样表示句子的单词:One-hot
神经网络是从左向右扫描数据,同时每个时间步的参数是共享的。
每个时间步数具有相同的参数。
这些参数是怎么起作用的。在预测y_3时,不仅和x_3有关,而且和x_2、x_1路径有关。
若想知道序列的姓名,需要双向的(BRNN),仅仅从前面信息无从得知。所以我们需要从前往后->从后往前得知y_3的预测值。
根据y的预测值的几分类问题将决定使用哪种激活函数。关关于激活函数,大多数用Tanh和RELU。
w_a和b_a是参数。
反向神经网络的运作:
上述讲解的是输入、输出的序列长度一致。
不同类型的循环神经网络
当T-x和T-y的序列数量不相等的时候。