DSSM笔记

模型：

INPUT

将一个单词序列的文档$d$转换为网络输入层的向量表示$x$需要两个步骤：

1. 将单词中的每个单词转换为单词向量
2. 通过连接这些单词向量来构建

第一步：one-hot表示每一个word（N=150K）为了获得质量更高的词向量，同时映射$W$得3-letter向量（30K）。最后链接

Convolutional Layer

window大小：3

c是窗口大小为3的单词的上下文向量

Max-pooling Layer

Fully-Connected Layers

训练

DSSM参数：
$L$$O$$S$$S$：pair-wise rank loss(文档对（s，t1）（s，t2）)

s表示源文档，t1和t2表示候选文档，构建相对于s，t1比t2相关
分数计算：

优化目标：最大化sim（s，t1）-sim（s，t2）
使用逻辑LOSS

∆为sim（s，t1）-sim（s，t2）

实验采用mini-batch ：（256（source-target）对）。从batch随机选4个作为源文档的负样本

实体查询

通过从流量加权的Web文档集中随机抽样一组文档来构造第二个任务的评估数据集。在第二步中，使用内部命名实体识别器来标识每个文档中的实体名称。向商业搜索引擎发出每个实体名称作为查询，并保留最多100个检索到的文档作为候选目标文档。为每个实体形成一个源文档，它由一个200字的窗口定义的实体文本及其周围的文本组成。
最终评估数据集包含10000个源文档。平均而言，每个源文档与87个目标文档相关联。最后，源文档-目标文档对由付费注释器根据兴趣进行标记。标签的级别为5级，从0到4。

扫描二维码关注公众号，回复： 12559798 查看本文章