9.7. Sequence-to-Sequence Learning (seq2seq) — ハンズオン Deep Learning 2.0.0 ドキュメント
個人的なメモ
注意機構のバージョンを後で追加する
1. 英語とフランス語の語彙を使用して、データセットまたは辞書の語彙を次のように読み取ります。
train_iter, src_vocab, tgt_vocab = d2l.load_data_nmt(batch_size, num_steps)
src_vocab エンコーダーの語源および enc_X として使用される英語辞書
tgt_vocab フランス語辞書、デコーダーの語源および Y として使用 (必須の教育後に dec_X を取得)
2. 簡単なプロセスは次のとおりです。
a. 最初のトレーニングでは、enc_X が seq2seq プロセス (コード内のエンコーダーとデコーダーの処理を含むネット) を通過した後、トレーニング中に Y_hat を取得し、Y_hat と実際の Y を損失関数として使用し、損失関数を作成してパラメーターをトレーニングします。 train_iter のすべてのデータセットをトレーニングして、enc_X を Y の翻訳に近づけます。
b. その後、トレーニングされたすべてのパラメータ (トレーニングの状態も保持されます) が予測に使用されます. たとえば、文 hello word を翻訳します. 処理のためにエンコーダのネットワークにそれを入れ続けます, その後状態を取得します単語の最後 Put states[-1] 取り出してデコーダに入れる
このときは予測モードで、Y が何かわからないので、<bos> から dec_X の最初の値を取得し、states[-1] で入れて、最初の予測値 y1 (最初に、デコーダー内で o1 を取得します。高密度レイヤーが機能をマージした後、y1) と h1 (デコーダー処理後の最初の状態) であり、次に y1 と h1 をその中に入れて y2 と h2 を取得し、ループし続けるまで得られた yn は <eos> であり、これで終了
Q&A: (個人的な推測)
1.q: デコーダが dec_X(X) を states[-1] の最終状態と組み合わせることができるのはなぜですか?
a: ある状態 (ht) も前の瞬間の ht-1 と xt の線形結合または結合であり、活性化関数を再度非線形化したもの. 状態には X の情報も含まれます.大きいが、最終的なパラメータは訓練されている.うまくフィットすることができる
2. 英語とフランス語では文脈が異なりますが、なぜ状態は同じ意味で使用できるのですか?
a: 英語とフランス語でコンテキスト情報が異なることは正しいです。機械翻訳タスクでは、ソース言語とターゲット言語が異なると、言語とコンテキストが異なるため、コンテキスト情報が異なります。
sequence-to-sequence モデルでは、エンコーダーのタスクは、ソース言語の文をコンテキスト ベクトルにエンコードすることです。コンテキスト ベクトルには、ソース言語の文全体の意味情報とコンテキスト情報が含まれています。ただし、このコンテキスト ベクトルは、ソース言語の文のコンテキスト情報をターゲット言語の文に直接転送するわけではありません。代わりに、エンコーダーはソース言語の文の各トークンを 1 つずつモデルにフィードし、現在のトークンのコンテキストおよびセマンティック情報を含む非表示の状態をタイム ステップごとに生成します。次に、デコーダーはこれらの状態を前のタイム ステップからの出力と共に使用して、ターゲット言語の文の次のトークンを予測します。
ソース言語とターゲット言語のコンテキスト情報は異なりますが、sequence-to-sequence モデルでは、エンコーダーはソース言語の文のトークンをタイム ステップごとに 1 つずつ処理することで、この情報を取得します。これらの状態には、文のセマンティックおよびコンテキスト情報が含まれており、これらを使用してコンテキスト ベクトルを生成します。このベクトルは、デコーダーがターゲット言語の生成プロセスをガイドするために使用できます。したがって、ソース言語とターゲット言語のコンテキスト情報は異なりますが、sequence-to-sequence モデルで合理的に処理して、生成された翻訳がソース言語とターゲット言語のセマンティックおよびコンテキスト情報に準拠していることを確認できます。この文は合理的に処理できるということは、最終的にトレーニングされたパラメーターにより、必要な結果を達成し、結果によりよく適合できることを意味します。
import collections
import math
import torch
from torch import nn
from d2l import torch as d2l
#@save
class Seq2SeqEncoder(d2l.Encoder):
"""用于序列到序列学习的循环神经网络编码器"""
def __init__(self, vocab_size, embed_size, num_hiddens, num_layers,
dropout=0, **kwargs):
super(Seq2SeqEncoder, self).__init__(**kwargs)
# 嵌入层
self.embedding = nn.Embedding(vocab_size, embed_size)
self.rnn = nn.GRU(embed_size, num_hiddens, num_layers,
dropout=dropout)
def forward(self, X, *args):
# 输出'X'的形状：(batch_size,num_steps,embed_size)
X = self.embedding(X)
# 在循环神经网络模型中，第一个轴对应于时间步
X = X.permute(1, 0, 2)
# 如果未提及状态，则默认为0
output, state = self.rnn(X)
# output的形状:(num_steps,batch_size,num_hiddens)
# state的形状:(num_layers,batch_size,num_hiddens)
return output, state
encoder = Seq2SeqEncoder(vocab_size=10, embed_size=8, num_hiddens=16,
num_layers=2)
encoder.eval()
X = torch.zeros((4, 7), dtype=torch.long)
output, state = encoder(X)
output.shape
state.shape
class Seq2SeqDecoder(d2l.Decoder):
"""用于序列到序列学习的循环神经网络解码器"""
def __init__(self, vocab_size, embed_size, num_hiddens, num_layers,
dropout=0, **kwargs):
super(Seq2SeqDecoder, self).__init__(**kwargs)
self.embedding = nn.Embedding(vocab_size, embed_size)
self.rnn = nn.GRU(embed_size + num_hiddens, num_hiddens, num_layers,
dropout=dropout)
self.dense = nn.Linear(num_hiddens, vocab_size)
def init_state(self, enc_outputs, *args):
return enc_outputs[1]
def forward(self, X, state):
# 输出'X'的形状：(batch_size,num_steps,embed_size)
X = self.embedding(X).permute(1, 0, 2)
# 广播context，使其具有与X相同的num_steps
context = state[-1].repeat(X.shape[0], 1, 1)
X_and_context = torch.cat((X, context), 2)
output, state = self.rnn(X_and_context, state)
output = self.dense(output).permute(1, 0, 2)
# output的形状:(batch_size,num_steps,vocab_size)
# state的形状:(num_layers,batch_size,num_hiddens)
return output, state
decoder = Seq2SeqDecoder(vocab_size=10, embed_size=8, num_hiddens=16,
num_layers=2)
decoder.eval()
state = decoder.init_state(encoder(X))
output, state = decoder(X, state)
output.shape, state.shape
#@save
def sequence_mask(X, valid_len, value=0):
"""在序列中屏蔽不相关的项"""
maxlen = X.size(1)
mask = torch.arange((maxlen), dtype=torch.float32,
device=X.device)[None, :] < valid_len[:, None]
X[~mask] = value
return X
X = torch.tensor([[1, 2, 3], [4, 5, 6]])
sequence_mask(X, torch.tensor([1, 2]))
X = torch.ones(2, 3, 4)
sequence_mask(X, torch.tensor([1, 2]), value=-1)
#@save
class MaskedSoftmaxCELoss(nn.CrossEntropyLoss):
"""带遮蔽的softmax交叉熵损失函数"""
# pred的形状：(batch_size,num_steps,vocab_size)
# label的形状：(batch_size,num_steps)
# valid_len的形状：(batch_size,)
def forward(self, pred, label, valid_len):
weights = torch.ones_like(label)
weights = sequence_mask(weights, valid_len)
self.reduction='none'
unweighted_loss = super(MaskedSoftmaxCELoss, self).forward(
pred.permute(0, 2, 1), label)
weighted_loss = (unweighted_loss * weights).mean(dim=1)
return weighted_loss
loss = MaskedSoftmaxCELoss()
loss(torch.ones(3, 4, 10), torch.ones((3, 4), dtype=torch.long),
torch.tensor([4, 2, 0]))
#@save
def train_seq2seq(net, data_iter, lr, num_epochs, tgt_vocab, device):
"""训练序列到序列模型"""
def xavier_init_weights(m):
if type(m) == nn.Linear:
nn.init.xavier_uniform_(m.weight)
if type(m) == nn.GRU:
for param in m._flat_weights_names:
if "weight" in param:
nn.init.xavier_uniform_(m._parameters[param])
net.apply(xavier_init_weights)
net.to(device)
optimizer = torch.optim.Adam(net.parameters(), lr=lr)
loss = MaskedSoftmaxCELoss()
net.train()
animator = d2l.Animator(xlabel='epoch', ylabel='loss',
xlim=[10, num_epochs])
for epoch in range(num_epochs):
timer = d2l.Timer()
metric = d2l.Accumulator(2) # 训练损失总和，词元数量
for batch in data_iter:
optimizer.zero_grad()
X, X_valid_len, Y, Y_valid_len = [x.to(device) for x in batch]
bos = torch.tensor([tgt_vocab['<bos>']] * Y.shape[0],
device=device).reshape(-1, 1)
dec_input = torch.cat([bos, Y[:, :-1]], 1) # 强制教学
Y_hat, _ = net(X, dec_input, X_valid_len)
l = loss(Y_hat, Y, Y_valid_len)
l.sum().backward() # 损失函数的标量进行“反向传播”
d2l.grad_clipping(net, 1)
num_tokens = Y_valid_len.sum()
optimizer.step()
with torch.no_grad():
metric.add(l.sum(), num_tokens)
if (epoch + 1) % 10 == 0:
animator.add(epoch + 1, (metric[0] / metric[1],))
print(f'loss {metric[0] / metric[1]:.3f}, {metric[1] / timer.stop():.1f} '
f'tokens/sec on {str(device)}')
embed_size, num_hiddens, num_layers, dropout = 32, 32, 2, 0.1
batch_size, num_steps = 64, 10
lr, num_epochs, device = 0.005, 300, d2l.try_gpu()
train_iter, src_vocab, tgt_vocab = d2l.load_data_nmt(batch_size, num_steps)
encoder = Seq2SeqEncoder(len(src_vocab), embed_size, num_hiddens, num_layers,
dropout)
decoder = Seq2SeqDecoder(len(tgt_vocab), embed_size, num_hiddens, num_layers,
dropout)
net = d2l.EncoderDecoder(encoder, decoder)
train_seq2seq(net, train_iter, lr, num_epochs, tgt_vocab, device)
#@save
def predict_seq2seq(net, src_sentence, src_vocab, tgt_vocab, num_steps,
device, save_attention_weights=False):
"""序列到序列模型的预测"""
# 在预测时将net设置为评估模式
net.eval()
src_tokens = src_vocab[src_sentence.lower().split(' ')] + [
src_vocab['<eos>']]#[go,.,<eos>] [9, 4, 3]
enc_valid_len = torch.tensor([len(src_tokens)], device=device)
src_tokens = d2l.truncate_pad(src_tokens, num_steps, src_vocab['<pad>'])
# 添加批量轴
enc_X = torch.unsqueeze(
torch.tensor(src_tokens, dtype=torch.long, device=device), dim=0)
enc_outputs = net.encoder(enc_X, enc_valid_len)
dec_state = net.decoder.init_state(enc_outputs, enc_valid_len)
# 添加批量轴
dec_X = torch.unsqueeze(torch.tensor(
[tgt_vocab['<bos>']], dtype=torch.long, device=device), dim=0)
output_seq, attention_weight_seq = [], []
for _ in range(num_steps):
Y, dec_state = net.decoder(dec_X, dec_state)#只能从bos开始因为不知道 翻译在预测中
# 我们使用具有预测最高可能性的词元，作为解码器在下一时间步的输入
dec_X = Y.argmax(dim=2)
pred = dec_X.squeeze(dim=0).type(torch.int32).item()
# 保存注意力权重（稍后讨论）
if save_attention_weights:
attention_weight_seq.append(net.decoder.attention_weights)
# 一旦序列结束词元被预测，输出序列的生成就完成了
if pred == tgt_vocab['<eos>']:
break
output_seq.append(pred)
return ' '.join(tgt_vocab.to_tokens(output_seq)), attention_weight_seq
def bleu(pred_seq, label_seq, k): #@save
"""计算BLEU"""
pred_tokens, label_tokens = pred_seq.split(' '), label_seq.split(' ')
len_pred, len_label = len(pred_tokens), len(label_tokens)
score = math.exp(min(0, 1 - len_label / len_pred))
for n in range(1, k + 1):
num_matches, label_subs = 0, collections.defaultdict(int)
for i in range(len_label - n + 1):
label_subs[' '.join(label_tokens[i: i + n])] += 1
for i in range(len_pred - n + 1):
if label_subs[' '.join(pred_tokens[i: i + n])] > 0:
num_matches += 1
label_subs[' '.join(pred_tokens[i: i + n])] -= 1
score *= math.pow(num_matches / (len_pred - n + 1), math.pow(0.5, n))
return score
engs = ['go .', "i lost .", 'he\'s calm .', 'i\'m home .']
fras = ['va !', 'j\'ai perdu .', 'il est calme .', 'je suis chez moi .']
for eng, fra in zip(engs, fras):
translation, attention_weight_seq = predict_seq2seq(
net, eng, src_vocab, tgt_vocab, num_steps, device)
print(f'{eng} => {translation}, bleu {bleu(translation, fra, k=2):.3f}')