Seq2seq进阶,双向GRU
文章目录主要使用attentionEncoderAttention一般编码器中得到的向量包含所有的上下文信息, 是高度压缩的信息, 怎么样来避免这种压缩呢?这是原来的seq2seq, 当然有些小的改进在此不做介绍了。主要使用attentionattention 向量a, 长度是源向量的长度, ai在0~1之间, 总和为1, 可以得到加权后的向量w在解码的每个时间步计算一个加权向量, 把它作为解码器和线性层的输入来进行预测Encoder使用双向GRU构建编码器此时output的大
论文阅读:Attention is all you need
文章目录前言前言在seq2seq中, encoder隐层的输出可以当作K, decoder隐层的输出作为Q, 这里不能反过来, 因为我们是根据注意力过滤掉K的内容, 所以K对应encoder
论文阅读:Joint 3D Face Reconstruction and Dense Alignment with Position Map Regression Network
这篇文章中提出了PRnet, 使用UV位置图辅助预测
今日推荐
周排行