目录
文本表示，简单来说就是把文本变成数学上方便处理的向量(数字)而不是字符串。而怎么把字符串变成向量，是文本表示的核心问题。
1.为什么要进行文本表示
- 根本原因是计算机不方便直接对文本字符串进行处理，因此需要进行数值化或向量化。
- 便于机器学习算法处理。不仅传统的机器学习算法需要这个过程，深度学习也需要这个过程。
- 良好的文本表示形式可以极大的提高算法的效果。
2.文本表示分类(基于粒度，从细到粗)
- 词表示(将词转换为向量，更细粒度：英文中的字母/字符表示，中文中的字表示)
- 句子表示(或短文本表示)
- 文本表示(篇章表示)
3.文本表示方法分类
- 离散表示
1. one-hot表示
2. multi-hot表示
- 分布式表示
(一) 基于矩阵
1.基于降维的方法
2.基于聚类的方法
(二) 基于神经网络
1.CBOW
2.Skip-gram
3.NNLM
4.C&W
在接下里的几篇博客会详细介绍上述文本表示方法。