ゼロ
学習プロセスを配列決定するためのシーケンスからseq2seq、最も重要なのは、入力配列と出力配列は可変長である場合、このアプローチは、機械翻訳の典型的な、非常に柔軟であり、そのようなプロセスです。
A
次のように基本的なネットワークアーキテクチャSeq2seq：
あなたが見ることができ、エンコーダは、RNNネットワーク、デコーダもRNNのネットワークを構成しています。トレーニングプロセスと推論過程同じ場所がいくつか存在していないが、以下で説明されています。
トレーニングプロセス：
- 出力、初期化状態デコーダとして最後の隠れ状態を必要としないが、ネットワーク、ソース言語のテキスト入力、最後のタイムステップ隠れ状態の出力を構成するRNNエンコーダ。
- RNNデコーダはまた、ネットワークを構成するターゲット言語のテキストを入力し、この場所は、入力バック位置をラグ、出力が目標言語のテキスト、複数の選択肢カテゴリ交差エントロピー分類トレーニングに正常であることに留意する必要があります。
# input sentence
How are you
# output sentence I am fine # encoder input ["How", "are", "you"] # decoder input ["<start tag>", "I", "am", "fine"] # decoder target ["I", "am", "fine", "<end tag>"]推論過程：
唯一のエンコーダ入力推論プロセスは、そう以下、最も単純な欲張り法を議論するために、等、貪欲/サンプリング/ビーム探索を復号化する方法があります。
- タイムステップの最後の後に隠された状態として符号化エンコーダ入力ソース言語。
- 入力は、ターゲット言語の単語<開始タグ>、供給されたデコーダに設定され、ターゲットワードを出力します。
- ターゲット言語新しい入力として前のステップにおいてターゲット単語は、それが<終了タグ>遭遇し、又は予測によって生成されたシーケンスの長さが閾値を超えるまで、ステップ2に進みます。
二つ
これらは簡単だった最も基本的なseq2seqアーキテクチャ、ある、欠点はまた、我々人間は通常のテキストを翻訳することを明らかにしているときに、ターゲット言語とソース言語の単語、多くの場合、限られたテキスト1つのまたは2単語、上記のアプローチのに対し、ソース言語各ワードデコーダの過程で得られた隠された状態の固定長にテキスト符号化は、より重要な機構seq2seq最適化を導入し、次の分化および焦点、ことなく、固定状態に影響を与えている - 注意機構。