Bert的三大特点：
1、预训练和微调
预训练 就是指预先训练的一个模型或者指预先训练模型的过程
微调 就是指将预训练过的模型作用于自己的数据集，并使参数适应自己数据集的过程
说到预训练，就要说起迁移学习。
迁移学习是指一种学习对另一种学习的影响，或习得的经验对完成其他活动的影响。在过去，前人们训练出了好多很好的模型，但是，随着时间变迁，许多情况在改变，那些很好的模型可能不再适合现在的数据了。如何让前人的好模型继续发挥它们的作用呢？有人想到迁移学习，以前的好模型还能继续用，只是以前的模型输出成为新模型的输入。这样，不仅可以能让结果更好，而且能让训练效率更高，大大加快了速度。
2、双向LSTM
LSTM：是长短期记忆网络，是一种时间循环神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。