T5: 文本到文本统一建模,一个模型适用所有NLP任务

1. 简介

T5 由谷歌的 Raffel 等人于 2020年7月提出，相关论文为“Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer”。

迁移学习技术在NLP领域的兴起，带来了一系列方法、模型和实践的创新。作者们提出了一种将所有的机遇文本的语言任务建模为文本到文本（text-to-text）的统一框架。作者系统研究了预训练目标、模型架构、未标注的数据集、迁移学习方法和其他因素在语言理解任务上的对比效果。通过一系列提升（规模和语料），T5在一系列摘要生成、问答、文本分类等任务中取得了SOTA的效果。

论文：https://arxiv.org/abs/1910.10683

代码：https://github.com/google-research/text-to-text-transfer-transformer

---