图解BERT,ELMo以及如何将其应用于迁移学习

原文链接:The Illustrated BERT, ELMo, and co. (How NLP Cracked Transfer Learning)

作者:Jay Alammar

      2018年可谓是自然语言处理(NLP)的元年,我们在如何以 最能捕捉潜在语义和关系的方式  来辅助计算机对单词和句子的概念性理解 这方面取得了极大的发展进步。此外,NLP领域的一些开源社区已经发布了很多强大的组件,我们可以在自己的模型或者训练过程中免费的下载使用。(可以说今年是NLP的ImageNet时刻,因为这和几年前计算机视觉的发展很相似)

    

      上图中,最新发布的BERT是一个NLP任务的里程碑式模型,它的发布势必会带来一个NLP的新时代。BERT是一个算法模型,它的出现打破了大量的自然语言处理任务的记录。在BERT的论文发布不久后,Goole的研发团队还开放了该模型的代码,并提供了一些在大量数据集上预训练好的算法模型,提供下载。很感谢Goole开源这个模型,并提供预训练好的模型,这使得所有人都可以通过它来构建一个涉及NLP的算法模型,节约了大量训练语言模型所需的时间,精力,知识和资源。

so no...

猜你喜欢

转载自blog.csdn.net/qq_41664845/article/details/84787969
今日推荐