BERT 为什么第一个词为[CLS]

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/guotong1988/article/details/83992852

[CLS]就是classification的意思，
因为做next sentence predict任务，就取[CLS]对应的最后的隐状态过MLP，
也就是最后的[batch_size,len1+len2,hidden_size]的[batch_size,0,hidden_size]去预测是不是下一句。

而同样操作，MaskLM是取那个MASK的词对应的位置的隐状态过MLP，预测这个词是什么。