双向神经网络BRNNs

判断单词TEDDY是否是人名只看句子的前半部分是不够的。

单向RNN不能解决这个问题,我们需要双向RNN--BRNN。

BRNN的前向传播一部分从左向右一部分从右向左

如下图,有从左向右从x1开始的前向传播,也有从右向左从x4开始的前向传播。


两个方向的传播都对第三段预测y3有影响。

如下图中黄线部分,既有左侧传入y3,也有右侧传入y3。这就是双向传播。


在NLP领域,双向传播的LSTM是最常用的

BRNN的缺点:需要完整的数据序列,才能预测任意位置。

例如语音识别系统,使用标准的BRNN只能等这个人全部说完了才能预测。

实际的语音识别系统中,有更复杂的模块。


猜你喜欢

转载自blog.csdn.net/weixin_39773661/article/details/80987863