深度学习笔记——利用深度学习构建社区问答系统之相似问题对匹配

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/mpk_no1/article/details/72737814

利用深度学习构建社区问答系统的相似问题对匹配的问题定义为:

假设我们已经有了问答库:


其中,Qi是问答社区中的历史问题,Ai是Qi问题的精华答案;
现有社区用户提出的新问题:Qnew
我们需要学习映射函数:


即对于新问题Qnew,我们希望通过学习系统找到社区中已经出现过的语义相同问题Qi,然后将对应的答案Ai推荐给用户。这样就达到了社区信息复用的目的。这个问题其实对于问答社区比如百度知道、知乎等都是存在的,解决问题的思路也完全可以复用到此类问答社区中。


这里其实就是找相似问题对,在NLP中有一个task叫做Paraphrase,这里是Sentence Paraphrase,即找到两个语义等价的句子对。

关于句子对匹配模型,其实在我的上一篇文章:深度学习笔记——基于双向RNN(LSTM、GRU)和Attention Model的句子对匹配方法 中已经有了很详细的介绍。

我们先看其中最复杂的一个模型:


其实,这里句子S可以看成我们任务中的Q1,句子T看出我们任务的Q2,如果我们有足够的标注好的问题对,那么我们就可以用来训练这个模型,然后用训练好的模型预测与Qnew语义等价的问题,然后把答案推荐给用户。


关于这个模型的实验我还在整理过程中,等整理完毕之后会将代码和实验结果放上来,同时更新到我的GitHub上,敬请期待!

猜你喜欢

转载自blog.csdn.net/mpk_no1/article/details/72737814