記事のディレクトリ
物語のほとんどは、ニューラルネットワークに基づいて生成された記事の執筆(通常の単語が、以前のプラグインの書き込みキーワードに基づいて、さまざまな書き込みは、我々は注意していないということです、キーワード書面に基づいて、そのようなプラグインライティングとして、プロンプトが表示されますどのようにシステムが文を生成しますか) ???疑い
図4.1ライティング
ストーリーテリングワークショップは 5枚の整然とした画像に基づいて物語を生成し、2018年にプラグインライティングコンテストを開催しました。
そして、図書き込み自体が絵によって生成されたテキストの一部です。そのようなものとして
興味深いことに、代わりにプラグイン書き込みをコピーする有监督image captioning
ため、ここでは、故意にデータ対を学習しませんでした。
4.4.1文のコーディング
2015年にKirosが上昇スキップ・思想ベクトルの符号化方式の一般的な文である方法を、。実際には、Skip-thought
アイデアとword2vec
同じ。単語では、単語とその文脈の意味的な関係のいくつかの種類があり、文はその想定つの段落で、いくつかの意味論的なリンクがあり、skip-thought
モチベーションと類似したが、予測文で指名手配されます文のそれコンテキスト、トレーニングを取得するために、文章の表現。word2vec
skip-gram
4.4.2データセット
使用してソースデータCOCO
(のデータセットimage captioning
)。学習により得られたこのデータセットimage
及びcaption
対応するskip-thought
符号化されたマップ。
ターゲットが使用してデータをコピーしますTaylor Swift lyrics
。
4.4.3モデルのトレーニング
電車RNN-LM
、そして、それを使用skip-thought
読み取り可能なテキストにベクトルをデコードします。
4.4.4参考リンク
書き込みをキーワードに基づいて4.2
このタスクでは、それぞれの物語は、いくつかの短い言葉がヒントを書いて与えられます。2018年、キーワード書き込みに基づいてデータセットをコンパイルして与えるファン、話法に基づく階層を生成するためのキーワードを。
改善モデルについて簡単に説明:
- モデルは、加速予測プロセスモデルのトレーニングに基づいて畳み込み構造seq2seqを使用します。
- 使用
gated multi-head multi-scale self-attention 注意力机制。
自己アテンション可以更好的学习长句子;使用
ゲート则可以更好的有选择的进行attention操作;
マルチヘッド和
マルチscale`の注目は、異なるサイズ情報(きめの細かい及び粗粒)のための異なるメカニズムを使用することです - このモデルは、2つのseq2seqモデルの融合です。最初seq2seqモデルは、より一般的な単語やシンボルを生成するために使用される前のトレーニングモデルです。隠された変数の最初のLMモデルがプロンプトを生成するためのより良いワードテキストかもしれ作るモデル、への第2の入力であることに注意してください。
ここでは、モデルの効果について簡単に:
- 文章や単語の生成に関連するヒント
- 例文も多様性に富んではなく、無害な、何も間違っているが、文は意味がありません。
- 物語の構造とプロットはもっと素晴らしいです
しかし、このモデルは、まだ多くの問題があります:
- シーンが特定のイベントやシーンの欠如を説明したように、ほとんどの文章は、記述されています
- 物語の長い長さを生成する場合、テーマは変更されません、(一貫性である)より新しいアイデアの欠如であります
タスク生成に挑戦4.3物語
ニューラルネットワークに基づく言語モデルは本当に一見滑らか物語の多くを書くことができますが、これらの物語のほとんどは冗長、空の疑問があります。
言語モデルは、単語列、および文のシーケンスを生成するために必要な物語を生成することです。
私たちは物語を置くとき、私たちは、モデリングの多くを考慮する必要があります。
- イベントとそれらの間の因果関係。
- 文字は、自分のキャラクター、背景、および他の文字との間の関係
- 物語の構造(プリ寝具、最後の問題解決と話を終了するプロットの開発を促進するために、競合を作成します)
- DOは事を書かないで、その後、役に立た脇キャスト:原則を遵守するための良い書き込み。
そして、これらを実装することは非常に、非常に困難です。
4.4 event2eventを生成物語
2018年にあるマルティンス、によって与えられた講義紙
本論文では、問題は、物語を発生、イベント、アクションと一連の単語によって与えられた、非常に興味深いです。この方法は、イベント・シーケンスは、次に連続するイベントの離散系列に変換され、その後、最後のイベントは、イベントの処理シーケンスに最初の入力が生成される、本明細書に話をします。このフローチャートは以下のようです:
本稿では、最初の行は、前記三のモデルを比較All Generalized Events & Generalized Sentence
提案モデルです。実験内容は、与えられたモデルは、以下の文を生成しますので、3階建て(「ハリー・ポッターとアズカバンの囚人」、「猿の島の物語」と「勇気」)文、
4.5構造化された物語生成
Fanらに講義。、2019年公開された紙、例えば
この記事では、いくつかのタスクに1つのブレークずつ物語分割を生成します。簡単に言えば、シーケンスにキュー氏述語とパラメータに基づいています。次いで、プレースホルダエンティティを使用して(例えば、ent0
)ストーリーを生成します。最後に、我々は、特定の参照して、プレースホルダを交換してください。プロセス全体図を以下に示します。
モデル構造は、著者がCNNのseq2seqのモデルを使用して、関心のどのようなメカニズムとの彼の2018エッセイ論文など
TODO特定の読み取り論文