本文参考李航统计学习方法第17章 潜在语义分析～
文本信息处理的一个核心问题是对文本内容进行数字表示，并进行文本之间的语义相似度的计算。
传统的方法以单词向量表示文本的语义内容，以单词向量空间的度量（内积或标准化内积）表示文本之间的语义相似度。
潜在语义分析试图发现潜在的话题，以话题向量表示文本的语义内容，以话题向量空间的度量（内积或标准化内积）表示文本之间的语义相似度。
单词向量空间
描述：
给定一个文本，用一个向量表示该文本的 ‘语义’ ，向量的每一维对应一个单词，其数值为该单词在该文本中出现的频数或权值（权值通常用 tfidf 表示）。基本假设是文本中所有单词的出现情况表示了文本的语义内容。一个文本集中的每个文本都可表示为一个向量，向量空间的度量如内积或标准化内积表示文本之间的 ‘语义相似度’ 。
下面给出数学定义，给定一个含有 n 个文本的集合
，以及在所有文本出现的 m 个单词的集合 
。将单词在文本中出现的数据用一个 单词-文本矩阵表示，记做 
，第一列表示 文本 
对应的单词向量，第二列表示文本
对应的单词向量：
是一个 
的矩阵。 
表示单词
在文本
中出现的频数或权值。
权值通常用频率-逆文本频率（TF-IDF）表示。关于TF-IDF的定义，可以搜下比较容易理解。
劣势：
由于单词具有一词多义性和多词一义性，所以基于单词向量的相似度计算存在不精确的问题。
一词多义性：例如 ‘apple’ 这个单词，在不同的文本中意思不一样，在食物类文本中，意思是 ‘苹果’ ，在科技类文本中，意思是 ‘苹果公司’ 。但是在单词向量空间中它被看为同一个意思。
多词一义性：例如单词 ‘airplane’ 和 单词 'aircraft' ，无论在什么文本中，他两的意思是一样的，但是在单词向量空间中它两被看为了两个独立的词。
话题向量空间
两个文本的语义相似度可以体现在两者的话题相似度上。所谓话题，就是指文本所讨论的内容或主题，一个文本一般含有若干个话题，如果两个文本的话题相似，那么两个文本的语义也相似。如‘airplane’ 和 单词 'aircraft'可以表示同一个话题， ‘apple’可以表示不同的话题。
话题向量空间：给定一个文本，用话题空间的一个向量表示该文本，该向量的每一分量对应一个话题，其数值为该话题在该文本中出现的权值。话题的数量往往远远小于单词的数量。
下面给出数学定义，
1、单词-文本矩阵：和单词向量空间里的单词-文本矩阵一样。
给定一个含有n 个文本的集合，以及在所有文本出现的 m 个单词的集合 。将单词在文本中出现的数据用一个 单词-文本矩阵表示，记做 ，第一列表示 文本 对应的向量，第二列表示文本对应的向量：
是一个 的矩阵。 表示单词在文本中出现的频数或权值。
2、单词-话题矩阵：
假设所有文本共含有 k 个话题，假设每个话题由一个定义在所有文本出现的单词集 W 上的 m 维向量表示，这就是话题向量，任意一个话题向量可以表示为：
其中
是单词在话题
的权值。
单词-话题矩阵
，即：
3、话题-文本矩阵
假设文本集合 中的在话题空间的一个向量是
,是一个 k 维向量，表达式为：
其中
是话题在文本
上的权值。
话题-文本矩阵为：
4、单词-文本矩阵、单词话-题矩阵，话题-文本矩阵之间的关系
单词向量空间的任意一个文本向量
，可以通过 k 个话题向量以为系数的线性组合近似表示，也就是所有话题向量的加权和：
（第 1 个话题向量乘以系数+第 2 个话题向量乘以系数+... +第 k 个话题向量乘以系数）
用矩阵表示出来就是：
矩阵 是单词-文本矩阵（文本在单词空间的表示）。
矩阵 是单词-话题矩阵（话题向量空间）。
矩阵 是话题-文本矩阵（文本在话题空间的表示）。
计算矩阵 T 和矩阵 Y
用到的计算方法是奇异值分解，奇异值分解可参考奇异值分解（SVD）（Singular Value Decomposition）。
具体使用的是截断奇异值分解 ，话题个数 k <= 文本数 n <= 单词数 m 。
其中话题向量空间矩阵 是
， 文本在话题空间的表示矩阵
是
。
今天的LSA就写到这里啦，欢迎大家评论区留言吖～