18-19年基于预训练的语言模型对比
ref：后BERT时代：15个预训练模型对比分析与关键点探究
1. 模型对于长距离依赖的处理能力
Transformer-XL > Transformer > RNNs > CNNs
2. 前馈/循环网络 or 串行/并行计算
MLP/CNNs/Transformer：前馈/并行
RNNs/ Transformer-XL：循环/串行
3. 自回归vs自编码
自回归：文本序列联合概率的密度估计，为传统语言模型，天然适合处理文本生成任务。问题是文本序列是有序拆解的，无法同时构建上下文的特征表征。
自编码：降噪自编码特征表示，引入噪声mask构建MLM，获得上下文相关的双向特征表示，问题是这么做的前提是引入了独立性假设，假设单词之间都是相互独立的。这样的联合估计为有偏估计，没有考虑预测mask之间的相关性，所以不适合处理生成任务。
4.BiLSTM
不能用BiLSTM做双向语言模型的原因是因为会出现标签泄露，所以ELMo中的两个LSTM是独立训练的，并不共享参数，否则mask就没意义了。
5. BERT擅长处理的NLP任务
句子级别的任务，处理句子，段落间的匹配任务（需要输入句子对，效果很好）
适合处理高层语义提取任务，对浅层语义提取任务的提升不大
6. BERT如何引入知识
ERNIE1.0 在预训练阶段引入知识图谱，使用了三种mask的策略：basic level masking，phrases-level masking，entity-level masking.
ERNIE2.0 将文本中的实体对齐到外部的知识图谱中，并使用知识嵌入得到实体向量+句子向量作为输入
7. mask都有哪几种策略
BERT：mask word
BERT WWM：mask whole word
ERNIE: mask entity
SpanBERT: 使用随机masking，旨在隐式学习预测词，抛弃掉词内部的关系，并使用模型学习这种关系
8. XLNet
提出XLNet旨在同时囊括自回归和自编码模型的优点，抛去他们的缺点。
使用自回归语言模型，并引入排列语言模型PLM，Two-steam self attention等内容。