NLP重新启程,这次扎扎实实做点笔记(部分摘自维基百科)
词袋模型本质上是一种向量空间模型(Vector Space Model,VSM),常用语NLP和IR(信息检索)的任务中。词袋模型是一种被简化的特征表示,这种表示方式不考虑文法以及词语的顺序。
词袋模型被广泛用于文本分类领域,词出现的频率可以用来当做训练分类器的特征。
例子:假设有两句话;
- John likes to watch movies. Mary likes movies too.
- John also likes to watch football games.
假设这两句话组成了一个语料库,则我们可以得到一个词袋:
[“John”, “likes”, “to”, “watch”, “movies”, “also”, “football”, “games”, “Mary”, “too”]
一共有十个词,所以我们可以将句子表示为一个十维向量,向量中每个位置的值表示该位置的单词在句子出现的次数。
例如,我们将第一句话可以表示为 [1, 2, 1, 1, 2, 0, 0, 0, 1, 1],第二句话可以表示为 [1, 1, 1, 1, 0, 1, 1, 1, 0, 0]。