原文地址：https://www.jianshu.com/p/2f2d5d5e03f8
一、SoW vs BoW
当将文本表示为词相关的向量时，向量的维度值为总词汇数。
词集模型(Set of Words, SoW)中，如果向量维度位置对应的词出现在文本中，则该处值为1，否则为0。
除了考虑词是否出现外，词袋模型(Bag of Words, BoW)还考虑其出现次数，即每个文本向量在其对应词处取值为该词在文本中出现次数，未出现则为0。
但是，用词频来衡量该词的重要性是存在问题的。比如"the"，它的词频很高，但其实它没有那么重要。所以可以使用TF-IDF特征来统计修正词频。
修正后的向量依旧存在数据稀疏的问题，大部分值为0，常使用Hash Trick进行降维。
(一) TF-IDF
TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。
字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。
TF(term frequency)：词在当前文本中的词频；
IDF(inverse document frequency)：包含该词的文本在语料库中出现频率的倒数的对数，即：
\[IDF(x)=log{N \over N(x)}\]
其中，\(N\)是语料库中文本的总数，\(N(x)\)是语料库中包含词\(x\)的文本的总数。
常见的IDF平滑公式之一：
\[IDF(x)=log{N+1 \over N(x)+1}+1\]
最终，词\(x\)的TF-IDF值：
\[TF{-}IDF(x)=TF(x)*IDF(x)\]
（二）Hash Trick
哈希函数\(h\)将第\(i\)个特征哈希到位置\(j\)，即\(h(i)=j\)。那么，第\(i\)个原始特征的词频数值\(c(i)\)将会累积到哈希后的第\(j\)个特征的词频数值\(c'(j)\)上，即：\[c'(j)=\sum_{i\in J;h(i)=j}c(i)\]
其中\(J\)是原始特征的维度。
但这样做存在一个问题，有可能两个原始特征哈希后位置相同，导致词频累加后特征值突然变大。
为了解决这个问题，出现了hash trick的变种signed hash trick，多了一个哈希函数\({\xi}:N{\rightarrow}{\pm}1\)，此时，我们有：
\[c'(j)=\sum_{i\in J;h(i)=j}{\xi}(i)c(i)\]
这样做的好处是，哈希后的特征值仍然是一个无偏的估计，不会导致某些哈希位置的值过大。从实际应用中来说，由于文本特征的高稀疏性，这么做是可行的。
注意hash trick降维后的特征已经不知道其代表的特征和意义，所以其解释性不强。
一般来说，只要词汇表的特征不至于太大，大到内存不够用，肯定是使用一般意义的向量化比较好。因为向量化的方法解释性很强，我们知道每一维特征对应哪一个词，进而我们还可以使用TF-IDF对各个词特征的权重进行修改，进一步完善特征的表示。
而Hash Trick一般使用在大规模机器学习上。此时我们的词汇量极大，使用向量化方法内存可能不够用，而使用Hash Trick降维速度很快，降维后的特征仍然可以帮我们完成后续的分类和聚类工作。当然由于分布式计算框架的存在，其实一般我们不会出现内存不够的情况。因此，实际工作中常常使用的都是特征向量化。
二、doc2vec
（一）DBoW
Distributed Bag of Words(DBoW)在给定文档向量的情况下预测文档中一组随机单词的概率。和Skip-Gram很像。
DBoW模型的输入是文档向量，预测的是该文档中随机抽样的单词。在SGD的每一次迭代中采样一个文本窗口，再从该文本窗口中随机采样一个词，从而形成一个给定段落向量进行词预测的多分类的任务。
（二）DM
Distributed Memory(DM)在给定文档向量和上下文的情况下预测单词的概率。和CBoW很像。
DM模型在训练时，首先将每个文档id和语料库中的所有词初始化为一个\(k\)维的向量，然后将文档向量和上下文的向量输入模型，隐藏层将这些向量进行累加或取均值或拼接得到中间向量，作为输出层softmax的输入。
（三）小结
不同的文档具有不同的文档向量，但是不同文档中的相同词具有相同的词向量。在一个文档的训练过程中，文档id保持不变，共享着同一个文档向量，相当于在预测单词的概率时，都利用了整个文档的语义。
其主要优点是文档向量的获取过程中，可以对没有标记的数据集进行训练。