オープンドメイン対話のためのセマンティック強化された説明可能な微調整 論文を読む

オープンドメイン対話のためのセマンティック強化された説明可能な微調整

問題：

オープンドメインでセマンティックコントロールを行うには?

モチベーション：

1. 現在、いくつかのタスクベースの対話または交渉と説得の対話では、対話の流れは対話の行動と戦略に従って制御されます。この記事の主な動機は、オープン ドメインの質問応答で事前トレーニング済みの言語モデルとモジュラー ダイアグラムを組み合わせる方法です。
2. 事前に訓練された言語モデルをモジュール式の対話パラダイムと組み合わせて、オープン ドメインの対話モデリングを実現します。

貢献：

1. 主に 3 つの部分を含むオープン ドメイン対話の制御可能な生成方法を提案する: 計画の理解と応答生成。
2. 注釈付きの中国の Weibo データセットが提案されており、対応する感情的な行為と関連するトピックで文章に注釈が付けられています。（まだ出てない）
3. 実験結果は、私たちの方法が強力な基本モデルよりも優れており、制御可能であることを示しています。

方法：

1. まず、対話の流れを制御するために、この記事ではいくつかのセマンティック変数を定義しようとします。たとえば、感情、行為、および対応するトピックです。
2. システムにとって、最初に行うことは理解であるため、上記の入力に基づいてユーザーの文を理解します。定義されたセマンティック変数を取得します。
3. 2 番目のステップは計画、つまり、対応するターゲット文に含まれる意味変数です。
4. 3 番目のステップは、対応する文を生成することです。ダイアログの履歴と定義されたセマンティック変数を使用して、ダイアログが生成されます。

構造化されたセマンティック変数をモデルに統合する方法について、著者はそれらを対話履歴の後に入力として接続することを提案しています。また、セマンティクスが異なると、異なるフラグが設定されます。
構造化セマンティック変数をシーケンスとして表現する方法

トレーニング

BART を使用して、上のティックでトークンの損失を計算します。目標は最大化することです: (3 世代を行う感覚)

推論

デコードの理解
線形化された話題の単語、感情、および DA の長さを 20、10、10 に設定します。貪欲なデコードが採用されています。

解読の計画

線形化された話題語、感情、および DA の最小 (最大) 長を 5 (20)、0 (10)、0 (10) に設定し、グリーディ デコーディングを使用します。

応答生成のデコード

温度 τ でトップ k サンプリング (Fan et al., 2018) とトップ p サンプリング (Holtzman et al., 2020) を使用します。

ラベル

感情と行動のデータセットにラベルを付ける過程で、著者は対応する分類器をトレーニングして、Weibo で収集された対話資料にラベルを付けました。キーワードの作成者については、ツールキット THUCKE を使用してキーワードをマークします。+ 手動評価とラベル付けの結果

実験：

1. ベースライン： 中国語 GPT-2 と CDialGPT-2–セマンティック変数を使用しない
2. 主な実験:

3. 意味レベルの応答生成: 生成された文のトピックごとの再現率を計算し、意図と感情の分類のために、生成された文を分解し、PLM を使用して文のカテゴリを判断し、Computed実際のカテゴリで。

4. 人工実験:

5. アブレーション実験:

この記事の著者がデータセットを公開しなかったのは残念であり、彼が電子メールを送信したときにニュースがありませんでした.

より興味深い記事については、次を参照してください。
逆思考
証拠推論ネットワークを使用した機械読み取り理解
バート事前トレーニング モデル - 中国語テキスト分類