本文是腾讯2020暑期犀牛鸟研学营 第五课 李鹏老师分享的“自动问答技术的简介与展望”的笔记。
IBM DeepQA 2011年在Jeopardy击败两位最强人类选手。
复杂的系统。非深度学习方法。
深度学习成功的要素：
1、海量数据。
CNN/DailyMail数据集。
SQuAD数据集。关键词：1.人工标注 2. 规模大，有10k+个问题 3. 涉及多种推理
SQuAD 2.0数据集。
CoQA。
2、预训练模型：BERT（重要）。OpenAI GPT。ELMo。
挑战——多步推理（HotpotQA）
离散/符号推理（DROP）
常识推理（CommonsenseQA）
开放问答
计算效率（随着模型的扩大，计算变得难起来）
问答技术的发展离不开精巧设计的数据集
还有什么问题没有解决，数据集的设计是否足以反映相应的问题，预训练模型一定程度上可以成为试金石。