编码器解码器架构、Seq2Seq简要笔记

编码器解码器架构

      

 

 

 后续自然语言处理都基本使用这个架构来实现的

Seq2Seq最早是用来做机器翻译的,现在用Bert比较多,Seq2Seq是一个Encoder-Decoder的架构,Seq2Seq模型的编码器使用的Rnn,解码器也是Rnn,编码器把最后那个hidden state传给解码器

双向Rnn经常用在encoder里面(给一个句子过来正向看一下,反向看一下),decoder需要预测,decoder不需要双向,解码器也是一个Rnn输出,

 

Seq2Seq训练和推理不太一样

 

猜你喜欢

转载自blog.csdn.net/weixin_43332715/article/details/123782738