【十 薇：T77554】【诚信经营】【持续更新】【品种繁多】【任意挑选】【质量有保障】从人工智能研究的初期开始，人们就致力于开发高度智能化的人机对话系统。艾伦·图灵（Alan Turing）在1950年提出图灵测试[1]，认为如果人类无法区分和他对话交谈的是机器还是人类，那么就可以说机器通过了图灵测试，拥有高度的智能。第一代对话系统主要是基于规则的对话系统，例如1966年MIT开发的ELIZA系统[2]是一个利用模版匹配方法的心理医疗聊天机器人，再如1970年代开始流行的基于流程图的对话系统，采用限状态自动机模型建模对话流中的状态转移。它们的优点是内部逻辑透透明，易于分析调试，但是高度依赖专家的人工干预，灵活性和可拓展性很差。
随着大数据技术的兴起，出现了基于统计学方法的数据驱动的第二代对话系统（以下简称统计对话系统）。在这个阶段，增强学习也开始被广泛研究运用，其中最具代表性的是剑桥大学Steve Young教授于2005年提出的基于部分可见马尔可夫决策过程(Partially Observable Markov Decision Process , POMDP)的统计对话系统[3]。该系统在鲁棒性上显著地优于基于规则的对话系统，它通过对观测到的语音识别结果进行贝叶斯推断，维护每轮对话状态，再根据对话状态进行对话策略的选择，从而生成自然语言回复。POMDP-based 对话系统采用了增强学习的框架，通过不断和用户模拟器或者真实用户进行交互试错，得到奖励得分来优化对话策略。统计对话系统是一个模块化系统，它避免了对专家的高度依赖，但是缺点是模型难以维护，可拓展性也比较受限。