1?GPT-2 模型结构
GPT-2的整体结构如下图，GPT-2是以Transformer为基础构建的，使用字节对编码的方法进行数据预处理，通过预测下一个词任务进行预训练的语言模型。
1.1 GPT-2 功能简介
GPT-2 就是一个语言模型，能够根据上文预测下一个单词，所以它就可以利用预训练已经学到的知识来生成文本，如生成新闻。也可以使用另一些数据进行微调，生成有特定格式或者主题的文本，如诗歌、戏剧。
2?手动加载GPT-2模型并实现语句与完整句子预测
使用GPT-2模型配套的PreTrainedTokenizer类，所需要加载的词表文件比BERT模型多了一个merges文件。
2.1 代码实现：手动加载GPT-2模型并实现下一个单词预测---GPT2_make.py（第1部分）
import torch
from transformers import GPT2Tokenizer, GPT2LMHeadModel
# 案例描述：Transformers库中的GPT-2模型，并用它实现下一词预测功能，即预测一个未完成句子的下一个可能出现的单词。
# 下一词预测任务是一个常见的任务，在Transformers库中有很多模型都可以实现该任务。也可以使用BERT模型来实现。选用GPT-2模型，主要在于介绍手动加载多词表文件的特殊方式。
# 1.1 加载词表文件
# 自动加载预训练模型（权重）
# tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
# 手动加载词表文件：gpt2-merges.txt gpt2-vocab.json。
# from_pretrained方法是支持从本地载入多个词表文件的，但对载入的词表文件名称有特殊的要求：该文件名称必须按照源码文件tokenization_gpt2.py的VOCAB_FILES_NAMES字典对象中定义的名字来命名。
# 故使用from_pretrained方法，必须对已经下载好的词表文件进行改名将/gpt2/gpt2-vocab.json和/gpt2/gpt2-merges.txt这两个文件，分别改名为“gpt2/vocab.json和/gpt2/merges.txt
tokenizer = GPT2Tokenizer.from_pretrained(r'./models/gpt2') # 自动加载改名后的文件
# 编码输入
indexed_tokens = tokenizer.encode("Who is Li BiGor ? Li BiGor is a")
print("输入语句为：",tokenizer.decode(indexed_tokens))
tokens_tensor = torch.tensor([indexed_tokens]) # 将输入语句转换为张量
# 自动加载预训练模型（权重）
# model = GPT2LMHeadModel.from_pretrained('gpt2')
# 手动加载：配置文件gpt2-config.json 与 权重文件pt2-pytorch_model.bin
model = GPT2LMHeadModel.from_pretrained('./models/gpt2/gpt2-pytorch_model.bin',config='./models/gpt2/gpt2-config.json')
# 将模型设置为评估模式
model.eval()
DEVICE = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
tokens_tensor = tokens_tensor.to(DEVICE)
model.to(DEVICE)
# 预测所有标记
with torch.no_grad():
outputs = model(tokens_tensor)
predictions = outputs[0]
# 得到预测的下一词
predicted_index = torch.argmax(predictions[0, -1, :]).item()
predicted_text = tokenizer.decode(indexed_tokens + [predicted_index])
print("输出语句为：",predicted_text) # GPT-2模型没有为输入文本添加特殊词。
# 输出:Who is Li BiGor? Li BiGor is a Chinese
2.2 代码实现：手动加载GPT-2模型并实现完整句子预测---GPT2_make.py（第2部分）
# 案例描述：Transformers库中的GPT-2模型，通过循环生成下一词，实现将一句话补充完整。
# 1.2 生成一段完整的话 这里有BUg 暂不会改
stopids = tokenizer.convert_tokens_to_ids(["."])[0] # 定义结束符
# 在循环调用模型预测功能时，使用了模型的past功能。该功能以使模型进入连续预测状态，即在前面预测结果的基础之上进行下一词预测，而不需要在每预测时，对所有句子进行重新处理。
# past功能是使用预训练模型时很常用的功能，在Transformers库中，凡是带有下一词预测功能的预训练模型（如GPT，XLNet，CTRL等）都有这个功能。
# 但并不是所有模型的past功能都是通过past参数进行设置的，有的模型虽然使用的参数名称是mems，但作用与pat参数一样。
past = None # 定义模型参数
for i in range(100): # 循环100次
with torch.no_grad():
output, past = model(tokens_tensor, past=past) # 预测下一次
token = torch.argmax(output[..., -1, :])
indexed_tokens += [token.tolist()] # 将预测结果收集
if stopids == token.tolist(): # 当预测出句号时，终止预测。
break
tokens_tensor = token.unsqueeze(0) # 定义下一次预测的输入张量
sequence = tokenizer.decode(indexed_tokens) # 进行字符串编码
print(sequence)3 GPT2_make.py（汇总）
import torch
from transformers import GPT2Tokenizer, GPT2LMHeadModel
# 案例描述：Transformers库中的GPT-2模型，并用它实现下一词预测功能，即预测一个未完成句子的下一个可能出现的单词。
# 下一词预测任务是一个常见的任务，在Transformers库中有很多模型都可以实现该任务。也可以使用BERT模型来实现。选用GPT-2模型，主要在于介绍手动加载多词表文件的特殊方式。
# 1.1 加载词表文件
# 自动加载预训练模型（权重）
# tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
# 手动加载词表文件：gpt2-merges.txt gpt2-vocab.json。
# from_pretrained方法是支持从本地载入多个词表文件的，但对载入的词表文件名称有特殊的要求：该文件名称必须按照源码文件tokenization_gpt2.py的VOCAB_FILES_NAMES字典对象中定义的名字来命名。
# 故使用from_pretrained方法，必须对已经下载好的词表文件进行改名将/gpt2/gpt2-vocab.json和/gpt2/gpt2-merges.txt这两个文件，分别改名为“gpt2/vocab.json和/gpt2/merges.txt
tokenizer = GPT2Tokenizer.from_pretrained(r'./models/gpt2') # 自动加载改名后的文件
# 编码输入
indexed_tokens = tokenizer.encode("Who is Li BiGor ? Li BiGor is a")
print("输入语句为：",tokenizer.decode(indexed_tokens))
tokens_tensor = torch.tensor([indexed_tokens]) # 将输入语句转换为张量
# 自动加载预训练模型（权重）
# model = GPT2LMHeadModel.from_pretrained('gpt2')
# 手动加载：配置文件gpt2-config.json 与 权重文件pt2-pytorch_model.bin
model = GPT2LMHeadModel.from_pretrained('./models/gpt2/gpt2-pytorch_model.bin',config='./models/gpt2/gpt2-config.json')
# 将模型设置为评估模式
model.eval()
DEVICE = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
tokens_tensor = tokens_tensor.to(DEVICE)
model.to(DEVICE)
# 预测所有标记
with torch.no_grad():
outputs = model(tokens_tensor)
predictions = outputs[0]
# 得到预测的下一词
predicted_index = torch.argmax(predictions[0, -1, :]).item()
predicted_text = tokenizer.decode(indexed_tokens + [predicted_index])
print("输出语句为：",predicted_text) # GPT-2模型没有为输入文本添加特殊词。
# 输出:Who is Li BiGor? Li BiGor is a Chinese
# 案例描述：Transformers库中的GPT-2模型，通过循环生成下一词，实现将一句话补充完整。
# 1.2 生成一段完整的话 这里有BUg 暂不会改
stopids = tokenizer.convert_tokens_to_ids(["."])[0] # 定义结束符
# 在循环调用模型预测功能时，使用了模型的past功能。该功能以使模型进入连续预测状态，即在前面预测结果的基础之上进行下一词预测，而不需要在每预测时，对所有句子进行重新处理。
# past功能是使用预训练模型时很常用的功能，在Transformers库中，凡是带有下一词预测功能的预训练模型（如GPT，XLNet，CTRL等）都有这个功能。
# 但并不是所有模型的past功能都是通过past参数进行设置的，有的模型虽然使用的参数名称是mems，但作用与pat参数一样。
past = None # 定义模型参数
for i in range(100): # 循环100次
with torch.no_grad():
output, past = model(tokens_tensor, past=past) # 预测下一次
token = torch.argmax(output[..., -1, :])
indexed_tokens += [token.tolist()] # 将预测结果收集
if stopids == token.tolist(): # 当预测出句号时，终止预测。
break
tokens_tensor = token.unsqueeze(0) # 定义下一次预测的输入张量
sequence = tokenizer.decode(indexed_tokens) # 进行字符串编码
print(sequence)
