摘要

BERT利用左右双向上下文表征在无标注文本进行预训练，通过增加额外输出层，应用于下游任务，在多个任务取得SOTA性能；

本文主要贡献：
1、通过MLM（masked language models）进行双向表征预训练；
2、BERT通过finetune而不需特定结构即可达到SOTA；

算法

BERT分为两步：
预训练、finetune；如图1所示，
在这里插入图片描述
模型结构：
$BERT_{base} (L=12, H=768, A=12, Total Parameters=110M)$
$BERT_{large} (L=24, H=1024, A=16, Total Parameters=340M)$
输入输出：
单个句子（任意范围）或成对句子（比如问答），输入表征由对应token、segment及位置编码构成，如图2。
在这里插入图片描述

BERT预训练

Masked LM

双向模型比单向模型或两单向模型concate后模型表达能力要强；标准有条件语言模型只能单向训练，双向将导致每个单词间接看到自己；
因此作者对输入token进行随机mask（15%），然后预测这些token，该过程为MLM（masked LM），最终mask token对应中间向量送入输出softmax与标准LM一致；
但是这样会导致预训练与finetuen不一致，因为finetune时没有mask token，为缓和此问题，作者使用仍随机选择15% token，若第i个token被选中，则其有80%概率替换为[MASK]，10%概率选择随机token，10%概率保持不变。

NSP

为理解句子之间相关关系，比如问答系统（QA）、自然语言推理（NLI），作者增加下句话预测（NSP）任务，具体而言，每个训练样例选择句子A和句子B，句子B有50%概率紧跟句子A，有50%概率为语料库中随机选取，如图1中C用于预测B是否为A的下一句，预训练中可达到97%-98%精度；
作者使用文档级语料库而非打乱句子级别语料库，用于提取长连续序列；

Fine-tune BERT

对于每个具体任务，插入任务相关输入、输出，训练BERT所有参数；sequence-level任务如图4a、4b；token-level任务如图4c、4d。
在这里插入图片描述

实验

GLUE

利用最后一层向量 $\in R^H$ ，为输入token[CLS]对应的聚合特征，通过分类层输出需要结果；
结果如表1，BERT大幅超越现有方法；
在这里插入图片描述

SQuAD v1.1

任务：给出问题及来自维基百科包含该问题答案的一段话，该任务可以预测答案在段落中范围；
作者引入起始位置向量 $\in R^H$ 及结束位置向量 $E\in R^H$ ；位置i，j为答案区域得分 $Score=S·T_i + E·T_j$
实验结果如表2，BERT集成系统超越top1方案1.5F1、单系统超越1.3F1；
在这里插入图片描述