论文地址：https://sites.ualberta.ca/~dniu/Homepage/Publications_files/hchen-kdd18.pdf
摘要
来自腾讯MIG移动浏览产品部和阿尔伯塔大学2018年KDD文章，论文中提到在QQ浏览器上CTR提升5.7个百分点
带注意力机制的多粒度CNNs融合模型，可分为3个步骤如下：
- 多粒度表示文本片段，文中采用单字、双字、三字表示文本片段
- 融合多通道匹配结果
- 文中融合两种通道，一种是单字、双字、三字等的语义匹配通道，
- 另一种是词权重、POS和位置信息等attention通道
- 语义匹配得到原始匹配矩阵，词权重、pos和position经过attention得到weight矩阵，原始矩阵和weight矩阵点积进行融合
- 卷积提取抽象特征，最后加一个MLP输出结果
相关工作
文本匹配方法主要可以分为两类：基于表示和基于交互
- 基于表示的匹配方法是获取文本的向量表示，然后计算向量之间的相似度，常用的方法有CNN、RNN、DSSM、CDSSM等方法，文本向量获取之前Query和Doc没有相互信息
- 基于交互式的方法使Query和Doc提前交互，常用的方法有：ARC2、MatchPyramid、DRMM、KNRM等
MIX模型
感觉这个图画的不是很好，attention units 画了2个unit:weighth和POS，attention channels成了3个，后面weight channels也成了3个，然后又来个2D卷积，有点乱
MIX将文本匹配问题分解为：
- 将文本分为不同粒度的文本片段，像（单字、双字、三字等），（字、词、短语等），目的是尽可能多的获取文本信息，如上图左上角所示
- 提取语法信息（权重、POS等），将global matching和 local matching进行第一次交互，采用注意机制在局部匹配的基础上构建全局匹配，从而提高整体匹配质量的 ，如上图attention units
- weighed channels 和 the 2D-convolution模块，通过locally matched channels 和attention channels为局部匹配提取重要的特征组合
Local Matching
基于词向量的local matching有两个缺点：
- 如：“senicspot”和“place of interest”语义相同但是形式不同
- 如：”all in“和”in all“组成相同，但是意思不同
鉴于以上缺点，论文采用将文本分解为一系列不同粒度的文本片段：
采用固定长度的窗口进行卷积，不同大小卷积核的结果都保留，每个都用来做匹配。上图显示长度为2和3的窗口卷积结果，得到一系列的文本片段，文本片段中短语的权重会大一些。构建多层局部匹配。
Local and Global Matching
global matching严重依赖于local matching，而 local matching的结果对global matching影响不同，因此在global matching引入attention机制。
采用多层Attention机制对local matching做加权,从三个方面运用层次分析法对关键信息进行匹配:
- 将IDF作为attention矩阵，语义矩阵与IDF矩阵相乘，这样常见的单词匹配的权重更小，不常见单词匹配的权重更大
- 词性匹配attention，不同词性之间的匹配权重不一样构造attention矩阵，例如人名和人名匹配的权重要大于动词和动词的匹配
- 词语位置attention，不同位置的权重不同构造attention矩阵，直观的说位置靠前的词语更加重要
这样对于每对文本有3种不同的Attention值，结合之前Local Matching的不同卷积核处理文本（例如分别是N和M），那么总共有3NM种local matching（加权局部匹配组合）
这里单字和双字，单字和三字等等都要做interaction，搞不太清楚是怎么交互下来的
Combination of Matching
对加权局部匹配的组合进行建模:
- 不同layer之前组合，每层形式如下：
- layer内部局部信息组合,一个layer中有tw, pos, spatial三种形式的attention信息
均采用CNN卷积形式，使用3D卷积，卷积完后加MLP得到端到端模型