機械学習に関するメモ: seq2seq と注目の seq2seq

1 シーケンス 2 シーケンス

1.1 はじめに

• シーケンス ペア <X,Y> の場合、私たちの目標は、入力シーケンス X を与え、Encoder-Decoder フレームワークを通じてターゲット シーケンス Y を生成することを期待することです。
  • 

 

• エンコーダーは入力シーケンス X をエンコードし、非線形変換を通じて入力シーケンスを中間意味表現 C に変換します。
  • 
• デコーダは、シーケンス X の中間意味表現 C と以前に生成された履歴情報 y1、y2….yi-1: yi に基づいて、時刻 i で生成される次の値を生成します。
  • 

1.2 欠点

• Encoder-Decoder フレームワークには明らかな欠点があります。
  • エンコーダは入力シーケンス X を固定長の潜在ベクトルにエンコードします (セマンティック エンコーディング c)
    • 1. 潜在ベクトルのサイズは制限されており、情報豊富なシーケンスを表すことができません。
    • 2. RNN 型ネットワークの特性により、ネットワークはシーケンスの背後にある情報に注目し、全体的な状況を把握できません。

2 注目の Seq2Seq

 

ここで: 各要素のセマンティック エンコーディング ci:

hj はエンコーダの各要素の隠れ状態、αij は重み付け係数

 

4

st-1 はデコーダの t-1 位置の出力です。