8.glove与Word2vec、LSA的比较(还有TF-IDF也要去熟悉)

https://github.com/imhuay/Algorithm_Interview_Notes-Chinese/blob/master/B-%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86/B-%E4%B8%93%E9%A2%98-%E8%AF%8D%E5%90%91%E9%87%8F.md

LSA(Latent Semantic Analysis) 是一种较早的count-based的词向量的表征工具,它也是基于co-occurance matrix的,只不过采用了
基于奇异值分解的(SVD)的矩阵分解技术对大矩阵进行降维,而我们知道SVD的复杂度是很高的,所以它的计算代价比较大。还有就是
它对所有单词的统计权重都是一致的;而这些缺点在glove中被一一克服了
word2vec可以分为skip-gram和cbow(continuous bag 0f words)两类,但都是基于局部滑动窗口计算的。即该方法利用了局部的上下文特征
(local context)这可能是一个不好的地方

猜你喜欢

转载自blog.csdn.net/Wgb_0206/article/details/88620504