Question Condensing Networks for Answer Selection in Community Question Answering读书笔记

发表于ACL2018

解决的问题:

    Community question answering(CQA)中没有区分问题标题和描述内容,没有区分答案和问题中的噪音信息

采用的方法:

    首先对所有单词采用Glove(fine-tune)+Char-level CNN得到词向量。

    然后对于问题标题和内容的词向量,两两计算“相似度”,计算方法如下:

        1.根据问题标题的向量,对内容向量做正交分解。这是为了对于问题相似与不同部分分别建模,分别表示重复信息和补充信息(或者噪音?)

        2.分解后的向量分别通过全连接网络得到attention向量,再归一化得到权重向量,加权求和。注意这里使用multi-dimentional attention,即每个向量的权重是个等长的向量,用element-wise乘积。

        3.用门机制合并各部分的信息

    对于答案,用门机制+非线性变换投影到问题表征空间,用交叉注意力和问题互相表征,最后拼接输出预测

notes:

    web 语言不规范,用glove(fine-tune)和char-level CNN更合适

    正交分解,建模相似和不同信息

    multi-dimentional attention

    

猜你喜欢

转载自blog.csdn.net/sjh18813050566/article/details/86632572
今日推荐