Glove使用了词与词之间的共现(co-occurrence)信息，假设元素Xij为词j出现在词i的环境(context)的次数。这里的”环境”有多种可能的定义。比如，在一段文本序列中，如果词j出现在词i左边或者右边不超过10个词的距离，我们认为词j出现在词i的环境一次。那么词j出现在词i的环境的概率，这一概率也叫做词i和词j的共现概率，如下图：
后续计算如下图：
注意这里面的最后Glove的词向量生成使用的是一个词的中心词和背景词的词向量之和作为改词的词向量，这与word2vec只是用中心词作为词向量是不同的。同时后续抽时间看下论文Glove
fastText
参考地址：http://zh.gluon.ai/chapter_natural-language-processing/glove-fasttext.html