LLM-201902：GPT-2（15亿参数、40GB数量语料）【强调无监督多任务训练】【所有的有监督学习都是无监督语言模型的一个子集，下游任务Fintune时不用重新调整模型结构】

《Language Models are Few-Shot Learners》

GitHub - openai/gpt-2: Code for the paper "Language Models are Unsupervised Multitask Learners"

GitHub - graykode/gpt-2-Pytorch: Simple Text-Generator with OpenAI gpt-2 Pytorch Implementation 

GPT-2的目标旨在训练一个泛化能力更强的词向量模型，它并没有对GPT-1的网络进行过多的结构的创新与设计，只是使用了更多的网络参数和更大的数据集。

GPT-2的核心思想

GPT-2的学习目标是使用无监督的预训练模型做有监督的任务。因为文本数据的时序性，一个输出序列可以表示为一系列条件概率的乘积：