负采样

参考:
https://www.cnblogs.com/cloud-ken/p/9556278.html (写的比较明白一点)
https://www.imooc.com/article/29453

https://blog.csdn.net/itplus/article/details/37998797
(这个博客里有很多关于word2vec论文的细节,很值得阅读)

我的理解是采用负采样用的网络模型还和原来一样,即第二层还是softmax层,但是更新权重时每次只更新一个输出对应的softmax的权重,比如(orange,the)是一个共同出现的词对,那么更新时就找出the对应的softmax层权值进行更新,当然也会更新k个负样本对应的权值,至于此表中其他词所对应的权值则不变,即不用负采样时每次要更新softmax层的所有权值,而用了以后只需要改变一个输出对应的权值。

猜你喜欢

转载自blog.csdn.net/aikudexue/article/details/88082356