贴一下汇总贴：论文阅读记录
论文链接：《“Mask and Infill” : Applying Masked Language Model to Sentiment Transfer》
一、摘要
摘要非平行语篇的情感转移是指对句子的情感属性(如积极的或消极的)进行修饰，同时保留其与属性无关的内容。由于基于rnn的编码器-解码器结构在捕捉单词之间深度和长期依赖关系方面的能力有限，以往的著作很难从无到有地生成令人满意的句子。当人类对句子的情感属性进行转换时，一种简单而有效的方法是仅用目标情感表达替换句子中原有的情感符号，而不是从零开始建立一个新的句子。这一过程与文本填充或完形填空非常相似，可以通过深度双向掩码语言模型(如BERT)进行处理。因此，我们提出了一种“掩模和填充”两步的方法。在掩码步骤中，我们通过掩码情感标记的位置将样式与内容分开。在填充步骤中，我们对传销进行了改进，将其归为有条件的传销，通过根据语境和目标情感预测词或短语来填充隐藏的位置。我们通过定量、定性和人工评估在两个回顾数据集上评估我们的模型。实验结果表明，我们的模型改善了现有的性能。
二、结论
本文针对非并行情感转移任务，提出了一种两阶段的“掩模与填充”方法，可以在没有并行训练数据的情况下进行训练。在两个回顾数据集上的实验结果表明，我们的方法在迁移准确性和语义保存方面都优于最先进的系统。在未来的工作中，我们希望探索情感迁移的细粒度版本(两种以上情感)，并探讨如何将掩蔽语言模型应用于风格迁移之外的自然语言生成的其他任务。
- 提出了一种两阶段的“掩模和填充”情感转移任务方法，能够识别简单和复杂的情感标记，并生成高质量的句子。
- 实验结果表明，我们的方法在BLEU和精度分数方面优于大多数最先进的模型。
- 将MLM改造为AC-MLM，实现有标记语句的生成。就我们所知，这是第一个将预先训练的掩蔽语言模型应用于标记句生成任务的工作。
三、相关工作
- Non-parallel Style Transfer
- Fine-tuning on Pre-trained Language Model
四、Mask and Infill
第一阶段，掩码模块结合了两种方法的优点，利用候选短语词汇寻找句子中的潜在属性标记，然后进行掩码操作。然后将掩码句子送入填充模块，填充模块通过AC-MLM对掩码位置进行填充。在第二阶段，为了使生成的句子具有更好的属性兼容性，我们引入了一个预先训练好的分类器作为判别器。由于语言生成的离散性，我们利用软采样来指导模型的优化。
