论文《Distributed Representations of words and Phrase and their Compositionality》

放在开头:强推这位大神写的博客，对word2vec的原理讲的贼清楚!
博客地址1:https://www.cnblogs.com/pinard/p/7160330.html
博客地址2:http://www.cnblogs.com/pinard/p/7243513.html
博客地址3:http://www.cnblogs.com/pinard/p/7249903.html

---

论文首先介绍了希望实现的词向量表示能够实现 Vec(“Madrid”)-Vec(“Spain”)+Vec(“France”) = Vec(“Paris”)
Skip-gram(用中心词去预测周围2c的词) 的模型结构如下:

skip-gram模型训练的目标函数如下,对于给定的词序列w1,w2,w3….wt，其中c指的是窗口的大小。期望能最大化下面的概率值:

1，对于上式的理解可以认为里面的求和符号的作用是用来求一个词wt作为中心词时，用它来预测周围的2c个词的概率值，显然这里用了log来处理概率积的形式。
2，然后外围的求和符号的作用是求这个词序列w1,w2,w3,..wt每个词都作为中心词来预测周围词时概率加和的最大值。

然后作者说计算p(wt+j | wt)的方式是如图所示，这里反正我是没能看懂。。

但是参考文章开头的大神的博客地址2，我们可以另辟蹊径去理解这个。