From: ヒットSCIR
NLP グループに入る —> NLP 交換グループに参加する
2023 年 5 月 11 日、ハルビン工業大学ソーシャル コンピューティングおよび情報検索研究センター (HIT-SCIR) のチームが、ACL 2023 WASSA ワークショップ「共感の感情とパーソナリティの検出」において、「共感」部門のインタラクションで 0.758 点を獲得し、優勝しました。および対話における感情予測」コンテスト優勝者。この評価には世界中から 78 名を超える参加者が集まり、合計 19 チームが参加しました。このコンテストに参加するHIT SCIRチームのメンバーにはLu Xin、Li Zhuojun、Tong Yanpengが含まれ、講師はZhao Yanyan准教授です。
図1 「対話における共感・感情予測」コンテスト事後評価結果
ゲーム紹介
WASSA の正式名称は、「主観性、感情、ソーシャルメディア分析への計算的アプローチに関するワークショップ」です。第13回WASSAカンファレンスはACL2023に合わせて7月14日にカナダのトロントで開催される。この評価は、WASSA 2023 セミナーの評価タスクであり、以下の 5 つのコンペ問題が設定されています。
トラック 1: 会話における共感と感情の予測 (CONV)
トラック 2: 共感予測 (EMP)
トラック 3: 感情分類 (EMO)
トラック 4: 性格予測 (PER)
トラック 5: 対人応答指数予測 (IRI)
序章
人間とコンピューターの対話システムの分野では、ユーザーの感情的および共感的な状態への注目が高まっているという明らかな傾向があります。ただし、ユーザーの感情的および共感的な状態を分析することは依然として困難な問題であり、研究者による深い探求と研究が必要です。この評価のためのデータセットは、ニュースを読んだボランティアの実際の共感や感情的な反応から収集されています。参加者には、個人や集団などを傷つけるニュース記事を読んで、読後の感想文として短い記事を書いてもらうとともに、ニュースを読んだときの共感や苦痛の度合いを評価する心理評価尺度を記入してもらいました。 、各参加者 参加者は、自分のビッグ 5 性格指数と対人応答性指数を評価するために性格スケールに記入する必要がありました。同じニュース記事を読む 2 人のユーザーは対話する必要があり、対話の各ターンには共感の強さ、感情の極性、感情の強さの注釈が付けられます。ボランティアによって書かれたエッセイの長さは 300 ～ 800 文字でした。彼らの間で行われた会話は平均23ラウンドに及んだ。このデータセットには、完全なニュース記事と人口統計情報 (年齢、性別、人種、収入、教育レベル) も含まれています。
表彰制度
私たちが参加した 3 つのコンテストの問題について、構築されたモデル構造を次の図に示します。
図2 モデル構造図
トラック 1: 対話における共感と感情の予測 (CONV)。このタスクで構築したモデルを図 2(a) に示します。このタスクでは 3 つの回帰値の予測が必要です。認識される対話を特定のウィンドウと組み合わせます。コンテキストをつなぎ合わせ、事前学習済みモデル DeBERTa を微調整用の基本モデルとして使用し、3 つの回帰値について異なるウィンドウ長を使用して実験を試み、最終的に のスコアで優勝しました。 0.758と2位を大きく上回りました。
トラック 2: 共感予測 (EMP)。このタスクで構築したモデルを図 2(b) に示します。このタスクでは 2 つの回帰値の予測が必要です。分析を通じて、これら 2 つの回帰値の間には一定の相関関係があることがわかりました。モデル構造では、微調整のためのマルチタスク構造を採用したRoBERTaベースのモデルが5位を獲得した。
トラック 3: 感情分類 (EMO)。このタスクで構築したモデルを図 2(c) に示します。このタスクは、合計 8 つのラベルを含むマルチラベル回帰タスクであり、トレーニング セット内のデータは800と分布は大きく異なります。ChatGPTを使用してデータ拡張スキームを書き換え、さらに基本モデルとしてRoBERTaを微調整した結果、3位を獲得しました。さらに、過学習を防ぐために、各競争問題でトレーニングされた個別のモデルを統合し、人口統計情報に応じて検証セットを分割することで、システムの堅牢性が大幅に向上しました。
今回の担当編集者：趙燕燕
この号の編集者: Li Baohang
NLP グループに入る —> NLP 交換グループに参加する