NLP-统计语言模型

概念   统计语言模型是描述自然语言内在规律的数学模型。广泛应用于各种语言处理问题，如语音识别、机器翻译、分词、词性标注等。统计模型就是用来计算一个句子的概率模型。 $n-gram$   语言模型（language model）定义了自然语言中标记序列的概率分布。根据模型的设计，标记可以是词、字符甚至是字节。标记总是离散的实体。最早成功的语言模型基于固定长度序列的标记模型，称为$n-gram$。一个$n-gram$是一个包含$n$个标记的序列。 $n-gram$模型定义的条件概率   给定前$n-1$个标记后的第$n$个标记的条件概率。   $P\left ( x_{1} ,\cdots ,x_{T}\right )=P\left ( x_{1} ,\cdots ,x_{n-1}\right )\prod_{t=n}^{T}P\left ( x_{t}\mid x_{t-n+1},\cdots ,x_{t-1} \right )$ 3.词干提取   是指对一个单词去掉后缀，还原为词本身。 4.词形还原   是指同一单词不同形式的识别，将单词还原为标准形式。 5.词袋模型   用来将文本转换成数值向量的表示形式。方式为将每个文档构建一个特征向量，其中包含每个单词在文档中出现的次数。 6.TF-IDF   TF-IDF=TF(词频)*IDF(逆文档频率)   TF(Term Frequency):词频统计，对文章中词语出现的频率进行计数统计。   $TF=\frac{当前文档中单词出现的次数}{当前文档中包含的单词总数}$   大众词出现的次数多，也不应该认为是重要的，因为在其它文档中出现的次数也多。为了更好的衡量大众词的价值，可用IDF来解决。   IDF(Inverse Document Frequency):逆文档频率，指的是语料库中文档总数与语料库中包含该词的文档数，二者比值的对数（log）。   $IDF=log\left ( \frac{语料库中文档总数}{语料库中包含该词的文档数+1} \right )$ 举个例子：   昨夜 星辰 昨夜风   小马过河   昨夜房上看月亮   明天又是另外一天了   "昨夜"在第一个文档中出现了2次，第一个文档总共包含4个词，总共存在4个文档，故 $TF=\frac{2}{4}$ , $IDF=log\left ( \frac{4}{2+1} \right )$   "昨夜"的TF-IDF值为：$0.5\times log\left ( 4/3 \right )$ 7.Word2Vec   Word2Vec:Word2Vec是Google在2013年提出的一个开源算法，使用神经网络技术，可以将词表转化为向量表示。确切的说，就是将词映射为n维空间向量，特征维度n视具体的情况与需求而定。   计算文本相似度：可先将词条转化成向量，从而根据余弦相似度来计算文本之间的相似性。