【ペーパーノート001】医学知識表現学習のためのマルチモーダル・マルチリレーショナル特徴集約ネットワーク

ここに画像の説明を挿入

1 はじめに

《Multi-modal Multi-relational Feature Aggregation Network for Medical Knowledge Representation Learning》
来源：ACM Multimedia 2020
链接：https://dblp.uni-trier.de/rec/conf/mm/ZhangFQX20.html
代码：[暂无]

2.アブストラクト

医療 KG の 3 つの重要な特性であるマルチモダリティ、不均衡、異質性について、医療知識表現学習のためのマルチモーダルマルチリレーショナル機能集約ネットワーク (MMRFAN) が提案されています。エンティティのマルチモーダルコンテンツを目指して、敵対的特徴学習モデルが提案されます。これは、エンティティのテキストと画像情報を同じベクトル空間にマッピングし、マルチモーダル共通表現を学習します。複雑な構造と豊富なセマンティクスをより適切にキャプチャするために、サンプリングメカニズムが設計され、内部および相互に関連する注意を払って近隣をクラスター化します。

3.はじめに

医療知識マップは、主実体、尾実体、およびこれらの 3 つの関係を含む医療知識トリプレットで構成されており、医療知識の組織化と、医療診断、健康に関する質問と回答、病気の認識などのインテリジェントな医療アプリケーションで重要な役割を果たします。 . 医療 KG を利用する上での基本的な問題の 1 つは、医療データ分析の効率的な表現をどのように見つけるかです。医学知識表現学習の目的は、医学知識グラフの構造意味論を取得し、計算上の問題を軽減するために、医学知識 KG のノードまたはトリプレットを連続した低次元ベクトル表現にエンコードすることです。

研究者は、医療分野でさまざまな効果的なグラフ表現学習方法を調査してきました。基本的に2つの主な研究方向があります。

医学KGにおける表現学習。
- Med2Vec は、医療エンコーディングの表現を学習し、臨床専門家によって検証された表現を人間が解釈できるようにします。
- KAME は、ナレッジグラフ内のノードに対して合理的な埋め込み学習を実行し、ナレッジアテンションメカニズムを使用して予測精度を向上させます。
創薬のための分子グラフにおける表現学習。
- Shi ら [38] は、一連の意思決定プロセスとして分子グラフを生成し、新しい原子と既存の原子の間の結合を識別します。
- Deac ら [4] は、副作用の種類と薬物の分子構造を使用して、共同注意メカニズムを使用して 2 つの薬物の副作用を予測しました。

これらの方法は、グラフ表現の学習で優れたパフォーマンスを示していますが、主に単純な機能に焦点を当てています。マルチモーダル情報は、豊富なセマンティクスを提供できます。高品質の表現は、医療 KG の各エンティティのマルチモーダル情報を通じてより適切に生成できます。

近年、グラフニューラルネットワークは、グラフ埋め込みタスクの処理において大きな可能性を示しています。重要なアイデアは、エッジを介してローカルネイバーから情報を集約することです。医療 KG に適用されるグラフニューラルネットワークも数多くあります。例えば：

Ma et al. [26] は、GCN を拡張してマルチビューの薬物の特徴とエッジをエンコードし、薬物の類似性を測定しました。
MedGCN [27] は、複数のタイプの医療エンティティの表現と、薬の推奨のための GCN との関係を学習します。

ただし、既存のグラフ表現の学習方法では、次の課題にうまく対処できていません。

(1) 医療実体コンテンツにはマルチモーダルな特徴がある。イメージ属性を持つエンティティもあれば、持たないエンティティもあります。たとえば、図 1 では、薬「アスピリン」にはその形状と色を説明する画像がありますが、「部門」などの他のエンティティは抽象的で適切な画像がありません。したがって、一部の機能が欠落している場合に、画像とテキストの両方の形態に適用できる機能変換アルゴリズムを設計する方法。
(2)医療KG構造のバランスが崩れている。たとえば、中国症候群のデータセット [35] では、希少疾患には十分な情報がなく、他のエンティティとの関係がほとんどない場合があります。したがって、そのようなエンティティは、リッチネイバーを持つエンティティよりも少ない情報を取得する可能性があります。
(3) グラフ構造が異質である。異種グラフにはさまざまなタイプのノードとエッジが存在するため、異種性は異種グラフ固有の特性です。ただし、ほとんどの既存の異種グラフニューラルネットワークは、ナレッジグラフ内のエンティティ間の複雑な関係を無視しながら、さまざまな種類のノードの処理に重点を置いています。一般的なグラフ構造と比較して、KG にはさまざまな種類の関係があり、さまざまな関係を持つ近傍は、エンティティの埋め込みにさまざまな形で寄与します。図 1 では、「Headache」には、「Disease_Related_Disease」や「Disease_Related_Examination」など、複数の関係があります。

ここに画像の説明を挿入

上記の議論に基づいて、医学知識グラフ表現学習では、これら 3 つのプロパティを考慮する必要があります。この論文では、統合されたフレームワークの下でマルチモーダルエンティティ表現と異種ナレッジグラフ構造を学習するマルチモーダルマルチリレーショナル機能集約ネットワーク (MMRFAN) を提案します。このフレームワークは、エンティティとネイバーのマルチモーダルコンテンツを考慮し、マルチモーダルプロパティと異種プロパティを共同で探索できます。次の 3 つの主要部分で構成されています。

(1) エンティティのマルチモーダルコンテンツを活用するために、敵対的特徴学習を使用して、エンティティのテキスト情報と視覚情報を同じベクトル空間にマッピングし、複数のモダリティの共通表現を学習します。一方では、テキストの特徴と視覚的な特徴が完全に接続されたレイヤー (ジェネレーター) に入力され、共通の表現が生成され、ペアごとの差異が減少してモデルがトレーニングされます。一方、モダリティディスクリミネーターは、異質性のギャップモダリティを減らし、共通の表現の一貫性を高めます。
(2) 不均衡な特性を軽減するために、関連するエンティティごとに固定サイズで近隣をサンプリングするサンプリングメカニズムを設計します。最初に関係するノードの近隣をサンプリングし、次にすべてのノードと特定の関係を維持することによって、いくつかの派生グラフを作成します。サンプリングメカニズムを設計することで、下位エンティティも隣接エンティティから恩恵を受けることができます。
（3）医療KGの不均一性を目指して、ノードの特徴情報を集約するために、新しい多関係特徴集約ネットワークが提案されています。派生したグラフごとに、アテンションプーリングベースのグラフ畳み込みネットワークを使用して、組み込みノードを集約するための関連付け内機能集約ネットワークを設計します。さまざまな関係の派生グラフについて、関係固有の注意を払って相互接続された機能集約ネットワークを設計します。内部特徴と内部相関特徴の集約ネットワークを設計することにより、モデルは内部特徴と内部相関特徴の組み合わせを取得できるため、学習されたエンティティの埋め込みが医療KGの複雑な構造と豊富なセマンティック情報をより適切にキャプチャできます。

4.方法論

4.1 問題文

この論文は主に医学知識グラフ表現の学習タスクを研究し、知識グラフを $G = (E 、 R 、 T)$ ，实体 $e_i∈E$ ，関係 $e_i,r,e_j)∈T$ 、ここで $r ε R は$ 関係タイプです。各エンティティについて、最初のテキストと画像の特徴は $e^T$ 和 $e^I$ _ 私たちの目的は、ナレッジグラフ内のエンティティのマルチモーダル機能とそれらの間の複雑な関係を考慮し、高品質のナレッジグラフ表現を取得し、さらに学習した埋め込みを適用して予測タスクとノード分類タスクをリンクすることです。

4.2 全体の枠組み

ここに画像の説明を挿入

次の 3 つの部分に分かれています。

マルチモーダルコンテンツのための敵対的特徴学習。ノードの特徴情報を集約するために、敵対的特徴学習を採用して、エンティティのテキストと画像の特徴を統合し、マルチモーダルな共通表現を学習します。
近傍をサンプリングし、派生グラフを作成します。医療 KG の各ノードについて、幅優先探索ベースのサンプリング戦略を使用して、固定サイズの隣接ノードがサンプリングされます。次に、派生グラフが作成されます。各派生グラフには、特定のタイプのノードと関係が含まれます。
マルチリレーショナル機能集約。派生グラフごとに、グラフニューラルネットワークを使用してノード表現を生成し、アテンションプールベースのノード表現と合計して、派生グラフごとにメッセージを生成します。次に、さまざまなソースからのメッセージを集約して、関係固有の注意を払ってグラフを導き出します。

その中で、Adversarial の特徴学習モジュールは、Word2Vec に CNN を加えたもので、テキストと画像をそれぞれ処理します。

ここに画像の説明を挿入

4.3 マルチモーダルコンテンツのための敵対的特徴学習

まず、さまざまなタイプのフィーチャが同じベクトル空間に投影されます。図 3 に示すように、ナレッジグラフへのエンティティの埋め込みを学習する場合。ジェネレーター (GenNet) は、エンティティの画像/テキスト表現を生成し、それらを共通空間にマップします。最初に、eT および eI とラベル付けされた Word2Vec および CNN アーキテクチャを使用して、エンティティのテキストおよび画像表現を学習します。直観的には、ジェネレーターの出力は似ているはずで、テキストと画像の表現を揃えて同じ空間にマッピングすることを目指しています。各層の画像とテキストの表現層の間のユークリッド距離を使用して、マルチモーダルの違いを表現すると、テキストの 1 番目と 2 番目の表現層は $e^T_1として表現できます。$ および $e^T_2$ 、画像の第 1 層と第 2 層の表現層は、 $e^I_1として表すことができます。$ 和 $e^I_2$ . 画像とテキストの形態の違いは、次のように表すことができます。

ここに画像の説明を挿入

ジェネレーションロスは

ここに画像の説明を挿入

特徴をディスクリミネーターにフィードします。ディスクリミネーター (DisNet) は、2 層の全結合ネットワークとシグモイド関数を使用して、特徴が画像かテキストかを判断し、事前に記述されたラベルを出力します。弁別損失はクロスエントロピー損失です。

マルチモーダル出力機能の場合 $x=e_2^T+e_2^I$ 、ユニモーダルにはテキストまたは画像が 1 つだけあります: $x=e_2^T$ 或 $x=e_2^I$

4.4 近傍のサンプリングと派生グラフの作成

ナレッジグラフは異種であるため、既存のグラフニューラルネットワークを直接適用すると、次の問題が発生する可能性があります。

(1) 既存の GNN メソッドは、高次関係ノード間の情報を効率的に集約できません。
(2) 既存の GNN メソッドは、近隣のサイズが異なるため弱められています。たとえば、中国の症状のデータセットでは、まれな病気について説明するのに十分な情報がない可能性があるため、他のエンティティとの関係はほとんどありません。

上記の問題を解決するために、次の 2 つのステップで構成される近傍サンプリング戦略を設計します。

ステップ 1: 一定数の近傍をサンプリングします。 $e_i∈E$ から始めます。 $e ε E$ から始めて、幅優先探索のサンプリング戦略を採用します。現在のエンティティの最大 n 個の隣接ノードをランダムに選択し、グラフレイヤーごとにトラバースして隣接ノードを探索します。サンプリング戦略は、一定数のエンティティを正常に収集するまで実行されます。サンプリングされたエンティティのセットは、 $E_i$ 、エンティティ間のエッジは $T_iとして表すことができます$ 。
ステップ 2: いくつかのエクスポートグラフを作成します。各リレーションタイプ $r$ 、サンプリングされたすべてのエンティティを含み、特定の関係 $r$ のエッジの派生グラフ。派生グラフごとに $G_r$ 、そのトポロジー構造は隣接行列 $A_rにすることができます$ エッジが存在する場合は要素が 1 であり、そうでない場合は 0 であることを示します。

4.5 マルチリレーショナル機能集約

マルチリレーショナル機能集約ネットワークは、サンプリングされた近隣のエンティティ機能情報を集約するように設計されています。派生グラフごとに、アテンションプーリングベースのグラフ畳み込みネットワークを使用して、同じ関係を持つノードを集約することにより、関連付け内の特徴集約を設計します。すべての派生グラフを集約するために、関係固有の注意を使用して、相互に関連する機能集約ネットワークを設計します。