XLNet 是一个类似 BERT 的模型，而不是完全不同的模型。但这是一个非常有前途和潜力的。总之，XLNet是一种通用的自回归预训练方法。
18年底谷歌爸爸推出了bert，该模型一经问世就占据了nlp界的统治地位，如今CMU和google brain联手推出了bert的改进版xlnet。在这之前也有很多公司对bert进行了优化，包括百度、清华的知识图谱融合，微软在预训练阶段的多任务学习等等，但是这些优化并没有把bert致命缺点进行改进。xlnet作为bert的升级模型，主要在以下三个方面进行了优化：
- 采用AR模型替代AE模型，解决mask带来的负面影响
- 双流注意力机制
- 引入transformer-xl
AR语言模型（自回归语言模型）是一种使用上下文词来预测下一个词的模型。但是在这里，上下文单词被限制在两个方向，前向或后向。GPT和 GPT-2 都 AR 语言模型。AR 语言模型的优势是擅长生成式自然语言处理任务。 因为在生成上下文时，通常是前向的。AR 语言模型很自然地适用于此类 NLP 任务。但AR语言模型有一些缺点，它只能使用前向上下文或后向上下文，这意味着它不能同时使用前向和后向上下文。
与 AR 语言模型不同，BERT 被归类为自动编码器（AE）语言模型，AE 语言模型旨在从损坏的输入重建原始数据。