Transformer は、自然言語処理タスクなどのシーケンス データの処理に使用できる強力なニューラル ネットワーク アーキテクチャです。PyTorch では、torch.nn.Transformer クラスを使用して、Transformer モデルを簡単に実装できます。
以下は、入力シーケンスを出力シーケンスに変換する単純な Transformer モデル実装のサンプル コードです。これはシーケンス間の変換タスクに使用できます。サンプル コードは次のとおりです
。
import torch
import torch.nn as nn
import torch.nn.functional as F
import math
class PositionalEncoding(nn.Module):
def __init__(self, d_model, dropout=0.1, max_len=5000):
super().__init__()
self.dropout = nn.Dropout(p=dropout)
pe = torch.zeros(max_len, d_model)
position = torch.arange(0, max_len, dtype=torch.float).unsqueeze(1)
div_term = torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model))
pe[:, 0::2] = torch.sin(position * div_term)
pe[:, 1::2] = torch.cos(position * div_term)
pe = pe.unsqueeze(0).transpose(0, 1)
self.register_buffer('pe', pe)
def forward(self, x):
x = x + self.pe[:x.size(0), :]
return self.dropout(x)
class TransformerModel(nn.Module):
def __init__(self, input_vocab_size, output_vocab_size, d_model, nhead, num_layers, dim_feedforward, dropout=0.1):
super(TransformerModel, self).__init__()
self.d_model = d_model
self.nhead = nhead
self.num_layers = num_layers
self.dim_feedforward = dim_feedforward
self.embedding = nn.Embedding(input_vocab_size, d_model)
self.pos_encoder = PositionalEncoding(d_model, dropout)
encoder_layer = nn.TransformerEncoderLayer(d_model, nhead, dim_feedforward, dropout)
self.transformer_encoder = nn.TransformerEncoder(encoder_layer, num_layers)
self.decoder = nn.Linear(d_model, output_vocab_size)
self.init_weights()
def init_weights(self):
initrange = 0.1
self.embedding.weight.data.uniform_(-initrange, initrange)
self.decoder.bias.data.zero_()
self.decoder.weight.data.uniform_(-initrange, initrange)
def forward(self, src, src_mask=None):
src = self.embedding(src) * math.sqrt(self.d_model)
src = self.pos_encoder(src)
output = self.transformer_encoder(src, src_mask)
output = self.decoder(output)
return output
上記のコードでは、nn.Module を継承する TransformerModel というモデル クラスを定義しました。モデルには次のコンポーネントが含まれています。
nn.Embedding: 入力シーケンス内の各トークンをベクトル表現に変換します。
PositionalEncoding: シーケンス内の各マーカーの位置をベクトルとしてエンコードします。
nn.TransformerEncoder: エンコードされた入力シーケンスを出力シーケンスに変換します。
nn.Linear: Transformer の出力を最終出力シーケンスに変換します。
入力および出力ボキャブラリのサイズ、埋め込み次元、Transformer 層の数、隠れ層の次元など、独自のニーズに応じて TransformerModel クラスのハイパーパラメータを変更できます。このモデルを使用してトレーニングする場合は、損失関数とオプティマイザーを定義し、トレーニングに PyTorch の標準トレーニング ループを使用する必要があります。
Transformer における位置エンコーディングの役割は、各位置に対応するベクトルが一意になるように、入力シーケンス内の位置情報をベクトル空間に埋め込むことです。この実装では、位置エンコーディングは次の式を使用します。
PE ( pos , 2 i ) = sin ( pos / 1000 0 2 i / d モデル ) \text{PE}{(pos, 2i)} = \sin(pos / 10000^{2i/d{\text{model) }}})PE (位置、_2i ) _=sin ( pos / 1000 02i / dモデル) _
PE ( pos , 2 i + 1 ) = cos ( pos / 1000 0 2 i / d モデル ) \text{PE}{(pos, 2i+1)} = \cos(pos / 10000^{2i/d{ \text{モデル}}})PE (位置、_2i_ _+1 )=cos ( pos / 1000 02i / dモデル) _
ここで、pos は入力シーケンス内の位置を表し、i はベクトルの次元を表します。結果として得られる位置エンコーディング行列は、入力シーケンスの埋め込みベクトルに追加されます。