【深度学习】cs224n 自然语言处理（1）
传统NLP(2012年以前)
未加入神经网络，在传统NLP里，我们把words看作是离散的符号，这样在英语中基本有无限多的词语，也就代表每一个向量是无限大的；
Word2vec algorithm（word vector）
想法来源：
- 拥有了一大堆文本；
- 每一个单词在一个固定的词汇表里都可以用一个向量表示；
- 用大量的迭代算法，遍历文本中的每一个位置，通过不断的迭代，‘理解’某个单词的含义；
- 会用两个向量来表达一个单词，一个向量是当这个单词是中间位的时候，另一个向量是当这个单词为上下文位置时（就是不是需要中心预测的）；
橙色部分的点积和向量空间代表词之间的相似性度量；
uo：o is a context word
vc：c is a center word
整个流程：
- Word Senses: