Rasa课程、Rasa培训、Rasa面试、Rasa实战系列之General Embeddings vs. Specific Problems

Rasa课程、Rasa培训、Rasa面试、Rasa实战系列之General Embeddings vs. Specific Problems

General Embeddings vs. Specific Problems

DIET 论文 https://arxiv.org/abs/2004.09936
DIET：对话系统的轻量级语言理解

大规模预训练语言模型在 GLUE 和 SuperGLUE 等语言理解基准测试中显示出令人印象深刻的结果，与分布式表示 (GloVe) 和纯监督方法等其他预训练方法相比有了很大改进。我们介绍了双重意图和实体转换器 (DIET) 架构，并研究了不同的预训练表示对意图和实体预测这两种常见对话语言理解任务的有效性。DIET 在复杂的多域 NLU 数据集上提升了最新技术，并在其他更简单的数据集上实现了类似的高性能。令人惊讶的是，我们表明使用大型预训练模型来完成这项任务并没有明显的好处，事实上，即使在没有任何预训练嵌入的纯监督设置中，DIET 也改进了当前的技术水平。