【每日新知识】NLP里的问答(QA)VS 对话系统(Dialogue system)

概念理解

对话系统包括了问答,对话系统按任务进行分类包括了:问答型,任务型,闲聊型。当然,这种分类方式并不严格,很多对话中,人的目的是多重的。

不同点

内容 不同点
问答(Question Answering) 以提问和解答为主,侧重于满足寻求知识 ;另外,QA答案一般是确切的或者没有找到答案
对话(Dialogue) 输入不只是问题,也可以是打招呼,下指令,抒发情绪等 ;回答可以是多种多样。

QA

流程:

1、问题理解 2、知识检索 3、答案生成
问题分类;关键词识别;相似问题扩展 非结构化信息检索;结构化信息检索;推理 候选答案定位;答案抽取;答案摘要

QA中的知识检索

非结构化信息检索 结构化信息检索
文档的集合,可利用使用搜索引擎提取关键词,查询索引,如 Lucene开源搜索引擎框架 ;先圈定文档范围,再圈定文本范围,排序,提取答案 在论文应用中以KB形式为主

基于深度神经网络模型,自动学习知识和推理,是个有前景的研究方向,FaceBook设立了一个文本理解和推理的数据集bAbI;

社区问答系统

难点:相似问题检索和答案过滤;这两点在一般的问答系统中也会遇到

相似问题检索:基于深度神经网络的模型,学习句子的表示,将问句进行encode,将候选答案进行decode,得到相似度的表示,进而计算相似度的概率分布【Learning question similarity with recurrent neural networks】

参考

https://www.zhihu.com/question/68140485/answer/815211836
https://github.com/yanxionglu/text_pdf

《大数据智能-数据驱动的自然语言处理技术》(刘知远等 编著)

猜你喜欢

转载自blog.csdn.net/qq_34391511/article/details/108310064