マルチモーダル学習に基づくフェイクニュース検出に関する研究

出典: 専門知識

ソーシャルメディアは人々に利便性をもたらす一方で、誤ったニュースが無制限に拡散する経路でもあり、早期に発見して阻止しなければ、容易に大衆のパニックを引き起こし、社会不安を引き起こす可能性があります。したがって、正確かつ効率的な誤報検出技術の探求は、理論的価値が非常に高く、実用的な意義がある。この記事では、フェイクニュース関連の検出テクノロジーについて包括的にレビューします。まず、マルチモーダルフェイクニュースの関連概念を整理して要約し、シングルモーダルおよびマルチモーダルニュースデータセットの変化傾向を分析します。次に、機械学習と深層学習に基づくシングルモーダル誤報検出技術の導入であり、これらの技術は誤報検出の分野で広く使用されていますが、誤ニュースには複数のデータ表現が含まれることが多いため、これらの従来のシングルモーダル誤報検出技術は、フェイクニュースの深いロジックを完全に調査することができないため、マルチモーダルなフェイクニュースデータによってもたらされる課題に効果的に対処することができません。この問題に対し、近年の高度なマルチモーダル誤報検知技術を整理し、それらのマルチモーダル検知技術手法をマルチストリームアーキテクチャとグラフアーキテクチャの観点から整理し、その考え方や考え方について考察した。これらのテクノロジーの概念と潜在的な欠陥について説明しました。最後に、誤報検出研究分野における現在の困難とボトルネックを分析し、今後の研究の方向性を示します。

http://fcst.ceaj.org/CN/abstract/abstract3314.shtml

概要

ソーシャルプラットフォームでの情報発信は、低コスト、高効率、リアルタイムの利便性などの特徴があり、ニュースがコミュニティに広く拡散することを可能にしますが、情報の公開・拡散は拡散の蔓延にもつながります。ソーシャルネットワーク上の誤ったニュース。CHEQ とボルチモア大学による 2019 年の経済調査報告書 [1] によると、誤ったニュースによって引き起こされる世界的な年間損失は 780 億米ドルにも上ります。2020年7月、江蘇省南京市の集落で持ち帰り商品が盗まれる事件があり、警察によると、住民は多重窃盗容疑で拘束されている。事件発生から3日以内に多くのネットメディアが、事件に巻き込まれたのは大学院受験中の大学生で、「進学をサポートするため、家族の他の3人の兄弟姉妹が大学を辞めた」との報道を発表した。校外。" 警察は7月20日午後、「李茂蒙容疑者は大学を2年卒業し、現在定収入がある。テイクアウトを盗んだ理由はテイクアウト後に復讐心を抱いたため」と通告した。連れ去られた。現在、リー・モウモウ容疑者は裁判が行われるまで保釈されている。リー・モウモウさんの両親と長姉は故郷で農業を営んでおり、次女と三姉妹はそれぞれ北京と海南で働いている。つまり、「大学院生」という正体は偽りの情報であり、図1(a)、図1(b)に示すように、李牧の家は貧しいわけではなく、持ち帰り品を盗むことは生活を維持するためのものではない。悪質なメディアは、トラフィックと注目を集めるために、このようなフェイクニュースを広め、大衆の同情を呼び起こしましたが、当局が噂を反論するまで、これらのフェイクニュースは止められませんでした。フェイクニュースは、多くの悪質メディアにとって不当な利益を得るためのツールとなっていることが分かり、その存在は人々の間の不信関係を強化し、社会的な悪影響をもたらします。したがって、正確かつ効率的な誤ったニュースの検出方法を探索することが特に重要です。フェイクニュースの場合、ニューステキストは画像の悪意のある捏造に由来しており、記述された内容は画像の真の内容と矛盾する必要があります、つまり、モダリティ間に意味上の不一致があるため、画像またはテキストの観点のみから分析すると、この意味的不一致は非常に深刻であり、モデルで認識することが難しく、モデルの分類エラーにつながりやすいため、マルチモーダルな観点からフェイクニュース検出技術を検討する必要があります。

長年にわたるフェイクニュース検出に関するレビュー記事を見ても、マルチモーダルな観点から分析したものはほとんどありません。初期の研究者は、ニュースコンテンツを表現するための人工的な特徴を見つけて構築することに専念していました。この時点でのレビューのほとんどは、これらの特徴の誘導と並べ替えに関するものでした [2-3]。その後、深層学習技術の発展に伴い、学者たちは自分たちの研究に焦点を当てました。この自動特徴抽出技術に着目し、ディープラーニングを活用したフェイクニュース検出の論文が多数発表されており、近年では一部の学者がその手法をまとめている[4-5]。ただし、これらの記事の研究の観点は限られており、フェイクニュースの他の様式は考慮されていません。いくつかの研究では、ニュースの視覚的な内容が読者を誤解させる可能性のある重要な要素であることが判明しています[6-7]。また、ニュースソーシャルグラフに含まれる誤報伝播情報も検知成功の重要な要素となるため[8]、マルチモーダルな観点からニュースを分析する必要がある。これに応えて、この記事では、誤ったニュース検出の分野におけるこれまでの研究について詳しく説明し、シングルモーダルからマルチモーダルの観点まで、この分野の包括的な概要とレビューを提供します。この記事の寄稿者は次のとおりです。

(1) 誤報検知分野における関連技術をシングルモーダルからマルチモーダルの観点まで詳しく整理・整理する (2) 特殊なマルチモーダル処理手法としてニュースソーシャルグラフに基づく検知技術を活用する研究状況(3) 既存の誤報検知技術の研究ボトルネックを整理し、今後の研究の方向性を示す。

マルチモーダルなフェイクニュース検出技術

さまざまな形式の情報ソースは、さまざまなモダリティと見なすことができます [51]. ニュースは典型的なマルチモーダルデータです. 文字ニュースには通常、画像とテキストという 2 つのモーダル情報が含まれます. 短いビデオニュースには、少なくとも画像、音声、字幕が含まれます.ニュースのソーシャルグラフには、ニュースの内容やニュースの行動などのモーダル情報が含まれます。マルチモーダル誤ニュース検出技術の鍵は、ニュースデータのマルチモーダル情報を学習して誤ニュース検出パフォーマンスを向上させるモデルフレームワークを構築する方法です。これまでに提案された論文の一部をまとめると、フロー形式に基づくマルチモーダル誤報検出技術と、グラフ形式に基づくマルチモーダル誤報検出技術の2つに大別できます。

ストリーミング形式によるフェイクニュース検知技術

シングルストリームアーキテクチャに基づくテクノロジー

シングルストリームアーキテクチャとは、モデルが入力される前に、さまざまなモーダルデータの主な特徴がスプライシングや関数マッピングなどを通じて融合されることを意味します。取得されたマルチモーダル特徴内の各モダリティの情報は独立しており、マルチモーダルデータは、モーダル情報後続のモデルで学習する必要があります。最も代表的なものは、ViLT (Vision-and-Language Transformer) [52]、MBT (multimodal bottleneck Transformer) [53] など、Transformer アーキテクチャに基づいたマルチモーダルモデルです。各モダリティのデータは前処理されて、たとえば、テキストは複数のトークンで構成されるシーケンスに変換され、写真は複数の重複しない画像パッチシーケンスに変換され、オーディオデータは最初にスペクトログラムに変換され、最後に複数の重複しないスペクトログラムパッチシーケンスに変換されます。複数のモダリティの特徴が最終的に結合されて、モデルのマルチモーダル入力特徴が形成されます。シングルストリームアーキテクチャのフレームワークを図 2 に示します。

現在、シングルストリームアーキテクチャモデルは、ビデオ分類、感情分析、画像生成などのマルチモーダル分野で広く使用されており、構造が単純で実装が容易で精度が高いという利点があります。フェイクニュースの検出は、大きな可能性を秘めた重要な研究方向です。ただし、現在の研究を参照すると、いくつかの欠点もあります: (1) ネットワークトレーニング中に適切なマルチモーダル表現を取得するには、より多くの反復が必要です; (2) モデルの入力特徴は通常複数のモダリティであるため、特徴が接合されます(3) シングルストリームモデルの学習には多数のトレーニングデータセットが必要ですが、フェイクニュース検出の分野では、現時点では十分なトレーニングデータがありません。

マルチストリームアーキテクチャに基づく技術

近年、マルチモーダルフェイクニュース検出の分野では、研究者はマルチストリームアーキテクチャに基づくテクノロジーをより一般的に使用しています。マルチストリームアーキテクチャとは、異なるモーダルデータに基づいて異なるモデルを設計してモーダルの高レベルの特徴を抽出し、各モダリティの高レベルの特徴からマルチモーダルの特徴を学習し、それらを下流の分類器に入力して各カテゴリの確率を予測することを指します。シングルストリームアーキテクチャと比較して、マルチストリームアーキテクチャはより柔軟であり、異なるモーダルデータのモーダル特徴を抽出するモデルを独立して設計できます。マルチストリームフレームワークを図 3 に示します。

グラフベースのフェイクニュース検知手法

社会性はニュースの基本的な特性の 1 つです。ニュースデータは、ニュースとニュース視聴者が対話するソーシャルネットワークグラフとして表すことができます。ニュースソーシャルネットワークグラフには、ニュース記事やコメントなどのプレーンテキストデータと、次のような関係タイプが含まれます。これらの異なる形式のデータから構成されるデータ、グラフは、特殊なマルチモーダルデータとみなすことができます。ここではニュースソーシャルグラフをベースとしたフェイクニュース検出技術を中心に解説します。大きく分けて、グラフ機械学習をベースとした技術とグラフニューラルネットワークをベースとした技術の2つに分類されます。

グラフ機械学習に基づく技術的な虚偽情報の拡散には、主に 3 つの要因が関与します [71]: 第一に、ニュース内容の合理性、第二に、伝達者の人格と信頼性、第三に、通信ネットワークの均質性。上記の要因に基づいて、研究者らは、ニュースのコンテンツと社会情報に基づいて、ニュースコミュニケーションツリー、ニュースポジションネットワークなどのさまざまなニュースソーシャルグラフを確立し、誤ったニュースのコミュニケーションパターンを調査しました。伝播ツリーは、ソーシャルメディア上のニュース記事の投稿とリツイートの関係を表します。Wu ら [72] はメッセージ伝播モデルをツリー構造の関係として説明しており、伝播ツリーは転送者と作成者の関係を反映するだけでなく、転送者の直接の行動や感情も反映することができます。次に、Ma ら [13] は、本物のニュースとフェイクニュースのメッセージ伝播ツリーをそれぞれ構築し、本物のニュースとフェイクニュースの異なる伝播モードを使用して、2 つの伝播ツリー間の部分構造の類似性を計算しました。この方法は、フェイクニュースの検出に効果的に役立ちます。

位置ネットワークのノードはニュースと投稿を表し、エッジは投稿間の支持と反対の関係を表します。スタンスネットワークを利用してフェイクニュースを検出する、つまり、あるニュースに関する投稿の信頼性を検出し、信頼性が低いほどフェイクニュースである可能性が高くなります。ニュースの普及において、一部の学者は、ユーザーが共有する意見、推測、証拠を通じて、一部の誤った情報を自己修正できることを発見しました[73]。図 5 に示すように、図 5(a) はフェイクニュースのスタンスネットワークを示し、図 5(b) はリアルニュースのスタンスネットワークを示します。さらに、一部の学者はフェイクニュース伝播ツリーとスタンスネットワークの包括的な分析を実施しました。Davoudi et al. [74] は、動的解析、静的解析、構造解析という 3 つの構造を含む検出フレームワークを提案しました。リカレントニューラルネットワーク、完全接続ニューラルネットワーク、Node2Vec を使用して、時間の経過に伴う伝播ツリーとスタンスネットワークの進化パターン、検出終了時の伝播ツリーとスタンスネットワークの全体的な特性、および構造的特性を学習します。伝播ツリーとスタンスネットワーク、そして最後に3つをまとめた構造の出力でフェイクニュースの検出が完了します。

グラフニューラルネットワークをベースとした技術

近年、研究者は畳み込みネットワーク、リカレントネットワーク、ディープオートエンコーダーのアイデアを利用して、グラフデータの処理に使用できるニューラルネットワーク構造、「グラフニューラルネットワーク」を設計しています[76]。この技術はグラフリレーショナルデータの処理に独自の利点を持ち、誤ったニュースの流布と拡散をグラフの形式で実装します。グラフ内のノードはニュースに関連するエンティティ情報を表し、エッジは異なるエンティティ間のつながりを表します。。ニュースのソーシャルコミュニケーション図を図 6 に示します。

グラフ畳み込みネットワーク (GCN) は、グラフデータを処理するために畳み込みネットワークのアイデアを借用して提案されたグラフニューラルネットワークモデルです。その中心的なアイデアは、マッピング関数を学習することです。グラフ内のノードについては、ノードを集約します。特徴ノードの新しい表現を生成するために、ノードの特徴と隣接ノードの特徴が使用されます。Chandra et al. [78] によって提案された SAFER (ソーシャルアウェア・フェイクニュース検出フレームワーク) モデルは、GCN を使用してユーザー情報を含むニュース表現を取得しますが、均質なグラフネットワークを構築するため、情報損失の問題が発生します。これに基づいて、Wang et al. [79] は、ニューステキスト、写真、知識概念をノードとして使用して異種グラフを構築し、この問題をある程度軽減しました。さらに、Bian ら [80] は、図 7 に示すように、ニュースの伝播の深さと伝播の幅という 2 つの観点から誤ったニュースの拡散モデルを研究し、トップダウンとボトムからの双方向グラフ畳み込みニューラルネットワークを提案しました。 -up 前の 2 つの方向はそれぞれ偽ニュースの伝播パターンと拡散パターンを取得し、最終的な実験結果はこの方法の有効性を証明しています。

一般に、グラフベースの誤報検出手法は精度が高く、柔軟性が高く、誤った情報の拡散に影響を与える重要なノードを特定でき、モデルに一定の解釈可能性を提供するという利点があります。しかし、ニュースのソーシャルグラフを事前に人為的に構築する必要があり、ニュースに関連するエンティティが多すぎると時間がかかり、重要なエンティティ情報が見逃される可能性があるなどの問題もあります。グラフのトレーニングには多くの時間がかかり、ハードウェアへの負荷が非常に高いため、その必要性はさらに高くなりますが、時間要素を含むグラフ検出技術はまだ開発が進んでいません。

結論は

インターネット時代において、大量のニュースの中から誤った情報をいかに正確かつ効率的に特定するかが国際的な関心の的となっています。長年の研究と探求を経て、フェイクニュース検出技術は初期の手動検出から今日の自動検出に発展しました機械学習に基づく手動特徴抽出は、今日の深層学習自動特徴抽出に変わりました単一ニュースオブジェクトの検出方法は、ユーザーのニーズに合わせて進化しました特徴、テキスト、写真、ビデオ特徴、伝播特徴、およびその他のマルチモーダルな共同検出方法。

この記事では、フェイクニュース検出研究の関連理論を整理し、シングルモーダルからマルチモーダルの観点からフェイクニュース検出データセットと関連技術を包括的にレビューし、既存の研究の欠点を要約します。分野と将来の研究の方向性が示されています。この記事は、後続の学者への参考となるだけでなく、専門のメディアプラットフォームがフェイクニュースの影響に対処するための重要な実践的応用価値も提供します。

NLP グループに入る -> NLP 交換グループに参加する

マルチモーダル学習に基づくフェイクニュース検出に関する研究

おすすめ