Die Götter sind still – persönliches CSDN-Blogpost-Verzeichnis
Dieser Artikel stellt die Verwendung des Bi-GRU-Modells von PyTorch zur Implementierung der Sequenzklassifizierung (im Allgemeinen eine Textklassifizierungsaufgabe in NLP) vor, die GRU-Ausgabe wird mit verschiedenen Pooling-Methoden erhalten, um Sequenzdarstellungen zu erhalten, und die Unterschiede im Schreiben und die Auswirkungen verschiedener Pooling-Methoden .
Hinweis: Es wird empfohlen, RNN mit variabler Länge zu verwenden, da dies den Betrieb von RNN beschleunigt (entsprechende Prinzipien werden später ergänzt).
Artikelverzeichnis
1. Ausgabe zum letzten gültigen Zeitschritt
1.1 RNN-Version mit fester Länge
Leicht, zu füllen.
1.2 RNN-Version mit variabler Länge
class GRUEncoder(nn.Module):
def __init__(self,input_dim,hidden_dim,num_layers,dropout_rate,bias=True,bidirectional=True):
super(GRUEncoder,self).__init__()
self.embs=nn.Embedding(word_num,input_dim)
self.embs.weight.data.copy_(embedding)
self.embs.weight.requires_grad=False
self.rnns=nn.GRU(input_size=input_dim,hidden_size=hidden_dim,num_layers=num_layers,bias=bias,dropout=dropout_rate,bidirectional=bidirectional,
batch_first=True)
self.lin=nn.Linear(in_features=hidden_dim*2 if bidirectional else hidden_dim,out_features=label_num)
def forward(self,x,sent_len):
"""
x: pad后的输入张量，维度为[batch_size,max_sequence_length]
sent_len：列表，每一维是每个sequence的有效token数
"""
x=self.embs(x)
#[batch_size,max_sequence_length,input_dim]
packed_input=nn.utils.rnn.pack_padded_sequence(x,lengths=sent_len,batch_first=True,enforce_sorted=False)
op,hn=self.rnns(packed_input)
op,lens_unpacked=nn.utils.rnn.pad_packed_sequence(op,batch_first=True)
#[batch_size,max_sequence_length,hidden_dim*num_directions]
#取最后一个有效时间步上的表征，作为最终表征
outputs=op[torch.arange(0,op.size()[0]).to(gpu_device),lens_unpacked-1]
return self.lin(outputs)
2. Durchschnittliche Zusammenfassung der Ausgaben über alle gültigen Zeitschritte
2.1 RNN-Version mit fester Länge
Leicht, zu füllen.
2.2 RNN-Version mit variabler Länge
class GRUEncoder(nn.Module):
def __init__(self,input_dim,hidden_dim,num_layers,dropout_rate,bias=True,bidirectional=True):
super(GRUEncoder,self).__init__()
self.embs=nn.Embedding(word_num,input_dim)
self.embs.weight.data.copy_(embedding)
self.embs.weight.requires_grad=False
self.rnns=nn.GRU(input_size=input_dim,hidden_size=hidden_dim,num_layers=num_layers,bias=bias,dropout=dropout_rate,bidirectional=bidirectional,
batch_first=True)
self.lin=nn.Linear(in_features=hidden_dim*2 if bidirectional else hidden_dim,out_features=label_num)
def forward(self,x,sent_len):
x=self.embs(x)
packed_input=nn.utils.rnn.pack_padded_sequence(x,lengths=sent_len,batch_first=True,enforce_sorted=False)
op,hn=self.rnns(packed_input)
op,lens_unpacked=nn.utils.rnn.pad_packed_sequence(op,batch_first=True)
#[batch_size,max_sequence_length,hidden_dim*num_directions]
#取所有有效时间步的输出的平均值池化，作为最终表征
outputs_sum=op.sum(axis=1)
outputs=outputs_sum/(lens_unpacked.to(gpu_device).unsqueeze(1)) #lens_unpacked在CPU上
return self.lin(outputs)
3. Gewichtete Summierung der Ausgänge über alle gültigen Zeitschritte (Achtung)
Leicht, zu füllen.
4. Der Zustand der letzten 2 verborgenen Schichten
Leicht, zu füllen.
5. Experimentelle Ergebnisse
Leicht, zu füllen.