1.聊天数据中词语在不同位置的概率分布具有非常明显的长尾特性。词语概率分布上的模式会优先被decoder的语言模型学到，并在生成过程中严重抑制query和response之间词语关联模式的作用，即便有了query的语义向量作为条件，decoder仍然会挑选概率最大的“我”作为response的第一个词语，由于语言模型的特性，接下来的词语很有可能是“也”。。。由此，一个safe response产生。
解决办法：引入attention强化query中重点的语义信息，削弱decoder中语言模型的影响；
引入user modeling或外部知识等信息增强生成回复的多样性。
全局考虑，safe response的产生是因为陷入了一个局部的最优解，需要给模型加一个干扰，让他跳出局部解，正向干扰就是告知模型safe response是很差的结果，尽管这样的loss是很小的，于是引入了GAN。
2.如何实现判别器D训练误差向生成器G的反向传播，引入强化学习
生成器生成文字的过程其实是采样，但不管是什么样的采样，都会不连续的，导致误差无法回传。
3.检索模型的优点：答案在预设的语料库中，结果可控，可解释性强；
缺点是在一定程度上缺乏对语义的理解，且有固定语料库的局限性，长尾问题覆盖率较差。
生成模型的优点：通过深层语义方式进行答案生成，答案不受语料库规模限制；
缺点：可解释性不强，且难以保证回答一致性和合理性。