文本分类语言模型-《动手学深度学习pytorch》

文本预处理

预处理通常包括四个步骤：

1. 读入文本
2. 分词
3. 建立字典，将每个词映射到一个唯一的索引（index）
4. 将文本从词的序列转换为索引的序列，方便输入模型

有一些现有的工具可以很好地进行分词，例如spaCy和NLTK

语言模型

一段自然语言文本可以看作是一个离散时间序列，给定一个长度为TT的词的序列w1,w2,…,wT语言模型的目标就是评估该序列是否合理，即计算该序列的概率：P(w1,w2,…,wT)

本节我们介绍基于统计的语言模型，主要是nn元语法（nn-gram）。在后续内容中，我们将会介绍基于神经网络的语言模型

N元语法

时序数据的采样

• XX：“想要有直升”，YY：“要有直升机”
• XX：“要有直升机”，YY：“有直升机，”

随机采样

 在随机采样中，每个样本是原始序列上任意截取的一段序列，相邻的两个随机小批量在原始序列上的位置不一定相毗邻

相邻采样

在相邻采样中，相邻的两个随机小批量在原始序列上的位置相毗邻