最近预训练模型的更新真的是让人眼花缭乱，效果一个比一个好，简直堪称神仙打架，我等吃瓜群众只好坐在小板凳上看热闹，时不时的喊上一声“好”。最近到处都能看到ELECTRA的身影，据说可以吊打Bert,今天我们就来看看它到底是何方神圣。
ELECTRA是斯坦福SAIL实验室Manning组的工作，是目前为止效果最好的预训练模型，不仅效果比以前的预训练模型好很多，而且还借鉴了GAN的思想，还用到了强化学习，很有创意，跟前面的预训练模型相比，简直就是一股清流。
具体内容我就不总结了，因为下面这篇文章总结的实在太好了。看完之后大家就能了解ELECTRA的具体细节。
文章链接：
