1 estructura modelo GPT-2
La estructura general de GPT-2 se muestra en la siguiente figura. GPT-2 está construido sobre la base de Transformer. Utiliza el método de codificación de pares de bytes para el preprocesamiento de datos y entrena previamente el modelo de lenguaje al predecir la siguiente tarea de palabra. .
1.1 Introducción a la función GPT-2
GPT-2 es un modelo de lenguaje que puede predecir la siguiente palabra en función de lo anterior, por lo que puede usar lo que ha aprendido antes del entrenamiento para generar texto, como generar noticias. También se puede ajustar con otros datos para generar texto con un formato o tema específico, como poesía, teatro.
2 Cargar manualmente el modelo GPT-2 e implementar oraciones y predicción de oraciones completas
Usando la clase PreTrainedTokenizer del modelo GPT-2, el archivo de vocabulario que debe cargarse es un archivo de combinación más que el modelo BERT.
2.1 Implementación del código: cargue manualmente el modelo GPT-2 e implemente la predicción de la siguiente palabra --- GPT2_make.py (Parte 1)
import torch
from transformers import GPT2Tokenizer, GPT2LMHeadModel
# 案例描述：Transformers库中的GPT-2模型，并用它实现下一词预测功能，即预测一个未完成句子的下一个可能出现的单词。
# 下一词预测任务是一个常见的任务，在Transformers库中有很多模型都可以实现该任务。也可以使用BERT模型来实现。选用GPT-2模型，主要在于介绍手动加载多词表文件的特殊方式。
# 1.1 加载词表文件
# 自动加载预训练模型（权重）
# tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
# 手动加载词表文件：gpt2-merges.txt gpt2-vocab.json。
# from_pretrained方法是支持从本地载入多个词表文件的，但对载入的词表文件名称有特殊的要求：该文件名称必须按照源码文件tokenization_gpt2.py的VOCAB_FILES_NAMES字典对象中定义的名字来命名。
# 故使用from_pretrained方法，必须对已经下载好的词表文件进行改名将/gpt2/gpt2-vocab.json和/gpt2/gpt2-merges.txt这两个文件，分别改名为“gpt2/vocab.json和/gpt2/merges.txt
tokenizer = GPT2Tokenizer.from_pretrained(r'./models/gpt2') # 自动加载改名后的文件
# 编码输入
indexed_tokens = tokenizer.encode("Who is Li BiGor ? Li BiGor is a")
print("输入语句为：",tokenizer.decode(indexed_tokens))
tokens_tensor = torch.tensor([indexed_tokens]) # 将输入语句转换为张量
# 自动加载预训练模型（权重）
# model = GPT2LMHeadModel.from_pretrained('gpt2')
# 手动加载：配置文件gpt2-config.json 与 权重文件pt2-pytorch_model.bin
model = GPT2LMHeadModel.from_pretrained('./models/gpt2/gpt2-pytorch_model.bin',config='./models/gpt2/gpt2-config.json')
# 将模型设置为评估模式
model.eval()
DEVICE = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
tokens_tensor = tokens_tensor.to(DEVICE)
model.to(DEVICE)
# 预测所有标记
with torch.no_grad():
outputs = model(tokens_tensor)
predictions = outputs[0]
# 得到预测的下一词
predicted_index = torch.argmax(predictions[0, -1, :]).item()
predicted_text = tokenizer.decode(indexed_tokens + [predicted_index])
print("输出语句为：",predicted_text) # GPT-2模型没有为输入文本添加特殊词。
# 输出:Who is Li BiGor? Li BiGor is a Chinese
2.2 Implementación del código: cargue manualmente el modelo GPT-2 e implemente la predicción de oraciones completas --- GPT2_make.py (Parte 2)
# 案例描述：Transformers库中的GPT-2模型，通过循环生成下一词，实现将一句话补充完整。
# 1.2 生成一段完整的话 这里有BUg 暂不会改
stopids = tokenizer.convert_tokens_to_ids(["."])[0] # 定义结束符
# 在循环调用模型预测功能时，使用了模型的past功能。该功能以使模型进入连续预测状态，即在前面预测结果的基础之上进行下一词预测，而不需要在每预测时，对所有句子进行重新处理。
# past功能是使用预训练模型时很常用的功能，在Transformers库中，凡是带有下一词预测功能的预训练模型（如GPT，XLNet，CTRL等）都有这个功能。
# 但并不是所有模型的past功能都是通过past参数进行设置的，有的模型虽然使用的参数名称是mems，但作用与pat参数一样。
past = None # 定义模型参数
for i in range(100): # 循环100次
with torch.no_grad():
output, past = model(tokens_tensor, past=past) # 预测下一次
token = torch.argmax(output[..., -1, :])
indexed_tokens += [token.tolist()] # 将预测结果收集
if stopids == token.tolist(): # 当预测出句号时，终止预测。
break
tokens_tensor = token.unsqueeze(0) # 定义下一次预测的输入张量
sequence = tokenizer.decode(indexed_tokens) # 进行字符串编码
print(sequence)3 GPT2_make.py (resumen)
import torch
from transformers import GPT2Tokenizer, GPT2LMHeadModel
# 案例描述：Transformers库中的GPT-2模型，并用它实现下一词预测功能，即预测一个未完成句子的下一个可能出现的单词。
# 下一词预测任务是一个常见的任务，在Transformers库中有很多模型都可以实现该任务。也可以使用BERT模型来实现。选用GPT-2模型，主要在于介绍手动加载多词表文件的特殊方式。
# 1.1 加载词表文件
# 自动加载预训练模型（权重）
# tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
# 手动加载词表文件：gpt2-merges.txt gpt2-vocab.json。
# from_pretrained方法是支持从本地载入多个词表文件的，但对载入的词表文件名称有特殊的要求：该文件名称必须按照源码文件tokenization_gpt2.py的VOCAB_FILES_NAMES字典对象中定义的名字来命名。
# 故使用from_pretrained方法，必须对已经下载好的词表文件进行改名将/gpt2/gpt2-vocab.json和/gpt2/gpt2-merges.txt这两个文件，分别改名为“gpt2/vocab.json和/gpt2/merges.txt
tokenizer = GPT2Tokenizer.from_pretrained(r'./models/gpt2') # 自动加载改名后的文件
# 编码输入
indexed_tokens = tokenizer.encode("Who is Li BiGor ? Li BiGor is a")
print("输入语句为：",tokenizer.decode(indexed_tokens))
tokens_tensor = torch.tensor([indexed_tokens]) # 将输入语句转换为张量
# 自动加载预训练模型（权重）
# model = GPT2LMHeadModel.from_pretrained('gpt2')
# 手动加载：配置文件gpt2-config.json 与 权重文件pt2-pytorch_model.bin
model = GPT2LMHeadModel.from_pretrained('./models/gpt2/gpt2-pytorch_model.bin',config='./models/gpt2/gpt2-config.json')
# 将模型设置为评估模式
model.eval()
DEVICE = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
tokens_tensor = tokens_tensor.to(DEVICE)
model.to(DEVICE)
# 预测所有标记
with torch.no_grad():
outputs = model(tokens_tensor)
predictions = outputs[0]
# 得到预测的下一词
predicted_index = torch.argmax(predictions[0, -1, :]).item()
predicted_text = tokenizer.decode(indexed_tokens + [predicted_index])
print("输出语句为：",predicted_text) # GPT-2模型没有为输入文本添加特殊词。
# 输出:Who is Li BiGor? Li BiGor is a Chinese
# 案例描述：Transformers库中的GPT-2模型，通过循环生成下一词，实现将一句话补充完整。
# 1.2 生成一段完整的话 这里有BUg 暂不会改
stopids = tokenizer.convert_tokens_to_ids(["."])[0] # 定义结束符
# 在循环调用模型预测功能时，使用了模型的past功能。该功能以使模型进入连续预测状态，即在前面预测结果的基础之上进行下一词预测，而不需要在每预测时，对所有句子进行重新处理。
# past功能是使用预训练模型时很常用的功能，在Transformers库中，凡是带有下一词预测功能的预训练模型（如GPT，XLNet，CTRL等）都有这个功能。
# 但并不是所有模型的past功能都是通过past参数进行设置的，有的模型虽然使用的参数名称是mems，但作用与pat参数一样。
past = None # 定义模型参数
for i in range(100): # 循环100次
with torch.no_grad():
output, past = model(tokens_tensor, past=past) # 预测下一次
token = torch.argmax(output[..., -1, :])
indexed_tokens += [token.tolist()] # 将预测结果收集
if stopids == token.tolist(): # 当预测出句号时，终止预测。
break
tokens_tensor = token.unsqueeze(0) # 定义下一次预测的输入张量
sequence = tokenizer.decode(indexed_tokens) # 进行字符串编码
print(sequence)