概要

Encoder-Decoder は特定のモデルではなく、一般的なフレームワークです。
エンコーダー部分とデコーダー部分には、任意のテキスト、音声、画像、ビデオデータを使用できます
モデルには、CNN、RNN、LSTM、GRU、アテンションなどを使用できます。
いわゆる符号化は、入力シーケンスを固定長ベクトルに変換することであり、復号化は、以前に生成された固定ベクトルを出力シーケンスに変換することを意味します。

注意点：

入力シーケンスと出力シーケンスの長さに関係なく、中間の「ベクトル c」の長さは固定です。これはエンコーダ/デコーダフレームワークの欠点です
タスクごとに異なるエンコーダとデコーダ (RNN、CNN、LSTM、GRU) を選択できます。
Encoder-Decoder は、機械翻訳を利用したエンドツーエンドの学習アルゴリズムで、フランス語を英語に翻訳できます。このようなモデルはSeq2Seqと呼ばれることもあります。

Seq2Seq（シーケンスツーシーケンス）

入力シーケンスと出力シーケンスの長さは可変です
Seq2Seq は目的を強調しており、特定のメソッドには特に言及せず、入力シーケンスと出力シーケンスの目的を満たします。これらを総称して Seq2Seq モデルと呼ぶことができます。
Seq2Seq で使用される特定のメソッドは、基本的に Encoder-Decoder モデルのカテゴリに属します。

例えば
ここに画像の説明を挿入

事例: 英語の it is a cat. を中国語に翻訳するプロセス。

まず、原文全体を記号化し、翻訳の開始記号と終了記号として固定の特殊記号を使用します。この時点で、文は it is a cat になります。
最も高い確率で翻訳された単語を取得するシーケンスをモデル化します。たとえば、最初の単語は「this」です。生成された単語を翻訳シーケンスに追加し、上記の手順を繰り返し、継続的に繰り返します。
モデルによって終了記号が選択されるまで、反復プロセスは停止され、翻訳を取得するために逆記号化プロセスが実行されます。

→真ん中の「ベクトルc」の長さは固定

RNN 構造の Encoder-Decoder モデルには長距離勾配消失の問題があります。
長い文の場合、入力シーケンスを固定長ベクトルに変換して有効な情報をすべて保存することは困難です。
LSTM が選択的に忘れたり記憶したりするためのゲート機構を追加したとしても、翻訳される文の難易度が上がるにつれて、この構造の効果は依然として理想的ではありません。

ここに画像の説明を挿入

注意はどのようにして、関心のある場所に正確に集中するのでしょうか?

RNN の出力に対して注目度を計算し、最後の瞬間のベクトルと任意の i 時間ベクトルの重みを計算することで、ソフトマックスにより注意バイアススコアを計算します。計算されたバイアススコアは比較的大きくなります。
エンコーダで各瞬間の隠れベクトルを計算しますか??
各瞬間の最終出力の注意スコアに重みを付け、各瞬間で i ベクトルにどの程度の注意を払う必要があるかを計算します。
デコーダは、③部分のアテンション重みを各瞬間にデコーダに入力しますが、このとき、デコーダへの入力には、アテンション重み付けされた隠れ層ベクトル、エンコーダの出力ベクトル、エンコーダの隠れベクトルが含まれます。デコーダーの直前の瞬間
Decoder 継続的な反復を通じて、Decoder は最終的な翻訳されたシーケンスを出力できます。

アテンションのエンコーダー/デコーダーフレームワークでは、機械翻訳タスクを完了する一般的なプロセスは次のとおりです。

ここに画像の説明を挿入

Transformer におけるアテンションは Self-Attention (セルフアテンションメカニズム) であり、Multi-Head Attendance (マルチヘッドアテンションメカニズム) です。

ここに画像の説明を挿入

注意メカニズム

Source は系列で構成されており、Target に Query という要素が与えられたとき、Query と各 Key の類似度を計算することで各 Key to Value の重み係数を求め、Value に重みを付けて合計することで、最終的なアテンション値。

自己注意

Target と Source 間のアテンション機構ではなく、Source 内部要素間、または Target 内部要素間で発生するアテンション機構を指し、Target = Source という特殊な場合のアテンション機構としても理解できます。
ソース = ターゲット、つまりキー = 値 = クエリ
Self-Attention は、同じ文内の単語間のいくつかの構文的特徴 (図 1: 一定の距離を持つ句構造) または意味論的特徴 (図 2: 参照する対象の法則) をキャプチャできます。
Self-Attention の導入後は、計算プロセス中に Self-Attend が文内の任意の 2 つの単語を直接接続するため、文内の長距離相互依存の特徴を捉えることが容易になります。
Self-Attention は時系列に依存しないため、計算の並列性が向上します。

マルチヘッドアテンション

モデルを複数のヘッドに分割して複数の部分空間を形成し、モデルがさまざまな方向の情報に焦点を当てることができるようにします。
Transformer または Bert の特定の層には独自の機能があり、最下層は構文に重点を置く傾向があり、最上層はセマンティクスに重点を置く傾向があります。
同じレイヤーには、他のヘッダーが焦点を当てているトークンとは異なる固有のヘッダーが常に 1 つまたは 2 つ存在します。
以下は、2 つのセルフアテンションが同じ文を実行するときに示される異なる注意です。マルチヘッドメカニズムを使用すると、異なるタスクの下で異なる注意を取る方法を学習することは明らかです。

ここに画像の説明を挿入