NLP | Word2Vec之基于Negative Sampling的 CBOW 和 skip-gram 模型

版权声明：本文为博主原创文章，未经博主允许不得转载，欢迎大家讨论交流。 https://blog.csdn.net/qq_40006058/article/details/86502039

前面介绍了基于Hierarchical Softmax的 skip-gram 和 CBOW 模型，虽然我们使用霍夫曼树代替传统的神经网络，可以提高模型训练的效率。但是如果我们的训练样本里的中心词 $w$是一个很生僻的词，那么就得在霍夫曼树中辛苦的向下走很久了。能不能不用搞这么复杂的一颗霍夫曼树，将模型变的更加简单呢？

Negative Sampling就是这么一种求解word2vec模型的方法，它摒弃了霍夫曼树，采用了Negative Sampling（负采样）的方法来求解，下面我们就来看看Negative Sampling的求解思路。

参考：https://www.cnblogs.com/pinard/p/7249903.html