一、引入
Bert的模型，主要用两种用法，一种就是用来得到word embedding，但这里和word2vec得到的词表示不大一样，Bert得到的是一种context vector，它考虑了上下文；一种就是用来做Fine tuning，就是说我把训练好的Bert再拿去用的时候（比如说句子分类），这里的Bert的参数就可以作为我们的初始化参数，因为Bert得到的模型是相当于添加噪声来训练的模型，所以具有稳定性，用来作为初始化的参数可以帮助加速训练。
二、Bert的机制
如果了解了transformer，那么理解Bert就相对容易很多。