https://openreview.net/pdf?id=SyK00v5xx
原文：http://www.hankcs.com/nlp/cs224n-sentence-embeddings.html
句子Embedding动机
虽然这节课一直在讲词向量可以编码词的意思，但自然语言处理真正关心的是整个句子的意思。
如果我们能够拿到句子的向量表示，则可以方便地用内积计算相似度：
还可以在这些句子向量之上构建分类器做情感分析：
已有方法
具体怎么由词向量到句向量呢？有很多种方法，比如词袋模型中简单地线性运算：
在后面的课程中，将会用recurrent neural network、recursive neural network，CNN来做同样的事情。
新方法
但今天要介绍的这篇普林斯顿大学的论文却剑走偏锋，采用了一种简单的无监督方法。这种方法简单到只有两步：
第一步，对句子中的每个词向量，乘以一个独特的权值。这个权值是一个常数$\alpha$除以$\alpha$与该词语频率的和，也就是说高频词的权值会相对下降。求和后得到暂时的句向量。
然后计算语料库所有句向量构成的矩阵的第一个主成分$u$，让每个句向量减去它在$u$上的投影（类似PCA）。其中，一个向量$v$在另一个向量$u$上的投影定义如下：
$$\text{Proj}_u v=\frac{u u^Tv}{\Vert u \Vert^2}$$
概率论解释
其原理是，给定上下文向量，一个词的出现概率由两项决定：作为平滑项的词频，以及上下文：
其中第二项的意思是，有一个平滑变动的上下文随机地发射单词。
效果
在句子相似度任务上超过平均水平，甚至超过部分复杂的模型。在句子分类上效果也很明显，甚至是最好成绩。