ParaBLEU:Generative Pretraining for Paraphrase Evaluation
论文地址：[2107.08251v1] Generative Pretraining for Paraphrase Evaluation (arxiv.org)
主要内容
提出了ParaBLEU，一种使用预训练模型来评估释义的方法，我们常用评估释义（使用语义相似的seq2seq任务）有Rouge，Bleu，meteor等。
上图为本文模型图，左边第一个模型将ref和cand并列进行MLM任务，学习到基本的文本表示知识，中间模型则是通过ref进行分析参考文本的语法正确性，语义连贯性等内容分析，最右边的模型则是一个文本蕴含任务，也就类似ref和cand语义相似度分类任务，最后综合上面的Loss进行多任务预训练，得到的预训练模型可以很好的评估文本释义任务。
损失函数：
评价
确实目前文本生成任务，seq2seq任务的评价指标基本都是Rouge，翻译任务还是bleu，毕竟简单方便，但目前要想翻译模型和生成模型达到更好的指标，一个更好的评价指标是必不可少的，本文使用一个预训练模型构建这个评价模型，虽然确实过于复杂和庞大，而且模型不可解释性也无法从实验结果外理论上进行证明其有效性，高效性。其实用性还有待考察，并且速度慢和使用复杂对于目前学术界和工业界都很难应用，期待未来有更好的释义生成评价指标吧。