Rasa课程、Rasa培训、Rasa面试、Rasa实战系列之Meaningful Benchmarks
An Evaluation Dataset for Intent Classification and Out-of-Scope Prediction
论文链接：https://arxiv.org/abs/1909.02027
意图分类和范围外预测的评估数据集
面向任务的对话系统需要知道查询何时超出其支持的意图范围，但当前的文本分类语料库仅定义涵盖每个示例的标签集。我们引入了一个新数据集，其中包括超出范围的查询——即不属于系统支持的任何意图的查询。这带来了新的挑战，因为模型不能假设推理时的每个查询都属于系统支持的意图类。我们的数据集还涵盖了 10 个领域的 150 个意图类别，捕获了面向生产任务的代理必须处理的广度。我们评估了我们数据集上的一系列基准分类器以及几种不同的范围外识别方案。我们发现，虽然分类器在范围内意图分类上表现良好，他们很难识别超出范围的查询。我们的数据集和评估填补了该领域的一个重要空白，提供了一种在任务驱动的对话系统中更严格、更现实地对文本分类进行基准测试的方法。
