点击这里，查看模型，实验结果等重要内容
简介：机器客服如果仅仅只是根据历史记录来回复用户，就会生成相对安全、通用的回复，无法让用户感受到人类客服的语言“温度”，自然也无法让用户真切地感受到服务的力量。为了解决这个问题，阿里工程师提出了异构记忆网络来同步处理用户语句、对话历史以及背景知识库，从而提升机器的对话质量。 本文已被自然语言处理领域顶会EMNLP2019收录，2019年EMNLP阿里巴巴共16篇论文被主会收录。
概要
人类通过语言将大脑里的知识表达出来，通过对话相互传递知识。机器通过学习大量的语料可以一定程度学会流畅的语句表达，但如果没有知识，则生成的只会是漂亮而无内涵的回复。传统的模块化的对话模型可以通过数据库查询等方式将关键信息填入回答的模版中，但是端到端的对话生成模型则要更复杂一些。
为了解决这个问题，记忆网络（Memory Networks）通常是一个不错的技术方法。但是现有的记忆网络结合对话系统只是提供了如何引入知识的一个方法，并不能很好的处理多种来源和结构的知识。
因此在这篇文章中，我们提出了一个异构记忆网络（_Heterogeneous Memory Networks, HMNs_）来同步处理用户语句，对话历史以及背景知识库。HMNs由上下文无关（_context-free memory_）记忆网络和我们提出的上下文敏感（_context-aware memory_）记忆网络组成，分别用于编码、储存结构化的知识元组（_knolwdge tuples_）和序列化的用户语句、历史对话，并生成两个小词表分布（知识词表和历史对话词表）以及一个大词表（所有训练的词汇分布）供回复语句生成的选词。在三个数据集上的实验结果表明，HMNs超过了现有的SOTA模型，能够较显著的提高端到端任务型对话模型的表现。
问题背景
人类客服在回答客户问题时首先理解用户的语言，然后到相关数据库、知识库中查询所需要的知识，最终整理并回答问题。在这个过程中如果缺乏相对应的知识数据，即使是人类也几乎不可能准确回答用户所需要的问题，因为客户可能需要的关键点就是那条数据库中的知识，而再漂亮的回复偏离了重点也是不合格的。机器也是如此。生成模型如果仅通过历史对话语料学习，最终学习到的可能只是最安全、最通用的回复，但在实际对话中缺乏关键知识，也将导致无法解决具体事务。因此在对话模型中恰当的引入知识显得至关重要。
如图所示一个典型的任务型对话，用户问题What is the address for keen需要根据上文的hotel_keen以及KnowledgeBase中检索到的2_miles、578_arbol_dr等作为关键信息来生成系统回复的语句。在这种情况下，传统的pipeline类型的对话系统通常采用填槽（slot filling）以及检索的方式来查找所需的关键信息，这种方式需要大量的人工标注。深度学习的发展促使我们更进一步探索：许多[7, 8]工作证明了完全数据驱动的任务型对话也是可行具有一定前景的。现有的完全数据驱动（fully data-driven）的任务型对话模型通常基于Sequence to Sequence模型，同时采用注意力（attention）机制来引入外部知识。Madotto在这些基础上进一步提出了Mem2Seq（Memory to Sequence）模型[1]，将multihop attention和pointer network的思想引入了对话生成模型。
现有的模型将不同来源、不同结构的信息杂糅、拼接到一起，用同一个网络（RNN或Memory Network）表达。但是人类思考的时候并不是将所有的信息杂糅在一起的，而是有一个思路：例如该对话任务，真人客服首先考虑的是问题，然后结合上下文，依靠这些信息查阅数据库，最后生成最后的回复。在这样的思想指导下，我们考虑不同的知识在对话这个任务中起到的作用是不同的，例如历史对话实际上指导的是上下文信息和回答的模式，而知识/数据库信息则更像插入到回复中的“值”。同样的，历史对话是一种序列化的信息，而知识库往往是一种结构化的数据，所以我们还需要对不同信息采用更适合它们结构的表达模型。因此我们提出了异构记忆网络模型（Heterogeneous Memory Networks, HMNs）结合Encoder-Decoder框架来更好的完成对话任务。本文的主要贡献在于：
我们提出了HMNs模型结合Encoder-Decoder模型第一次探索将对话历史、知识库等用不同的Memory来表示。
我们提出了一种用门机制（gating mechanism）加强的上下文敏感记忆网络（context-aware memory networks）来更好的学习、表达对话历史等上下文依赖信息。
我们在三个流行的公开数据集上进行了测试，实验结果表明对话模型总体水平显著超过现有的SOTA模型，且不同部分的改进都是有效的。
模型
我们的模型主体结构上采用端到端生成模型常用的Encoder-Decoder框架。本章将详细介绍模型结构。
1. 编码器（Encoder）
关键字：机器学习/深度学习 存储 数据采集 自然语言处理 安全数据库