词袋模型(Bag of Words)

NLP重新启程,这次扎扎实实做点笔记(部分摘自维基百科)

词袋模型本质上是一种向量空间模型(Vector Space Model,VSM),常用语NLP和IR(信息检索)的任务中。词袋模型是一种被简化的特征表示,这种表示方式不考虑文法以及词语的顺序。

词袋模型被广泛用于文本分类领域,词出现的频率可以用来当做训练分类器的特征。

例子:假设有两句话;

  1. John likes to watch movies. Mary likes movies too.
  2. John also likes to watch football games.

假设这两句话组成了一个语料库,则我们可以得到一个词袋:
[“John”, “likes”, “to”, “watch”, “movies”, “also”, “football”, “games”, “Mary”, “too”]
一共有十个词,所以我们可以将句子表示为一个十维向量,向量中每个位置的值表示该位置的单词在句子出现的次数。

例如,我们将第一句话可以表示为 [1, 2, 1, 1, 2, 0, 0, 0, 1, 1],第二句话可以表示为 [1, 1, 1, 1, 0, 1, 1, 1, 0, 0]。

发布了76 篇原创文章 · 获赞 10 · 访问量 8268

猜你喜欢

转载自blog.csdn.net/weixin_38742280/article/details/104809442