ナレッジグラフによって強化されたインテリジェントなレコメンデーションシステムとアプリケーション

インターネット技術の急速な発展、特にモバイルインターネットの台頭により、新しく生成される情報は爆発的な増加を示しています。情報収集における情報過多（Information Overload）とロングテール問題（Long Tail）をより適切に解決するために、レコメンドシステムが登場し、基本的にさまざまな製品の標準機能となっています。レコメンデーションシステムは、ユーザーとアイテム間のつながりを自動的にマイニングできる情報フィルタリングシステムの一種です。具体的には、ユーザー自身の多次元属性データ (年齢、地域、性別など) と行動データのフィードバック (クリック、コレクション、いいね、購入など) に基づいて、アイテム自体の属性データ (タイトル、タグ、カテゴリ、テキストなど) を使用して、推奨アイテムに対するユーザーの評価や好みを予測します。ユーザーの観点から見ると、推奨システムはユーザーの個人的な興味や好みに基づいて何千人もの人々に対して自動的に推奨を行うため、情報過多の問題の軽減に役立ちます。アイテムの観点から見ると、アイテム自体の属性とそれに対応するインタラクティブな行動の違いを、より興味を持ったユーザーグループにさまざまなレコメンド方法を通じて到達させることができ、露出不足によるロングテールの問題を軽減します。企業の観点から見ると、レコメンデーションシステムはより優れた製品インタラクション方法をもたらし、没入型エクスペリエンスを実現することで、ユーザーの定着率をさらに高め、最終的にコンバージョン収益を大幅に増加させます。

ナレッジグラフによって強化されたインテリジェントなレコメンデーションシステムとアプリケーション - Yu Jing

図 1 Daguan インテリジェントレコメンデーションシステム

インテリジェントレコメンデーション ToB エンタープライズサービスの分野で、Daguan Data は 10 年以上にわたり、数千の顧客との業界アプリケーションにおけるレコメンデーションテクノロジーと実践経験を蓄積してきました。 2012 年には、Daguan Data の創設者である Chen Yunwen 博士が率いるチームがロンドンで開催された EMI データハッキングコンペティションに参加し、国際チャンピオンシップで優勝しました。ユーザーの視聴行動やその他のデータを分析およびマイニングして、ユーザーの興味や好みを予測し、曲を推奨します。激しい戦いの末、彼らが開発したインテリジェントレコメンデーションシステムは、500 万人の視聴ユーザーのデータをモデル化し、各ユーザーの個別の興味や好みに基づいて、数十万の曲ライブラリから各ユーザーに対して千の面からのレコメンデーションを生成しました。その結果と推薦の精度で、ケンブリッジ大学、オックスフォード大学、ミシガン大学などの参加チーム300以上を破り、一気に優勝した。 Daguan Intelligent Recommendation は、最先端の人工知能とビッグデータ分析およびマイニング技術に基づいており、長年にわたる製品の磨き上げと継続的な業界アプリケーションの探索を経て、サービスを提供した累計顧客数は数千に達しています。 （https://www.datagrand.com/products/recommend/）

フィルタリング発想によるレコメンド方式

レコメンデーションシステムの長年にわたる理論的開発を経て、3 世代の主要なレコメンデーションシステムが作成されました。第 1 世代のレコメンドシステム (1995 ～ 2005 年) には、主にコンテンツフィルタリングベースの方法、協調フィルタリングベースの方法、およびハイブリッド方法の 3 つの方法が含まれており、技術的には主にルール統計と機械学習です。第 2 世代のレコメンデーションシステム (2003 ～ 2014 年) は、主に時間、場所、ユーザーグループの評価などの機能コンテキストに基づいています。この世代のレコメンデーションシステムに関する研究はまだ進行中です。第 3 世代のレコメンデーションシステムに関する研究は、表現学習に基づいたセマンティックモデルと、レコメンデーションプロセスにおけるより多くの知識コンポーネントの使用に重点を置いています。

01協調フィルタリングに基づく推奨方法

協調フィルタリング (CF) は、群衆の知恵を体現する従来のレコメンデーション手法であり、ユーザーの興味の好みやアイテムとの過去のインタラクション行動に基づいてレコメンデーションを行います。この方法は、メモリベースの方法とモデルベースの方法に分類できます。メモリベースの方法は、ユーザーベース (ユーザーベースの CF) とアイテムベース (アイテムベースの CF) の 2 つのカテゴリに分類できます。メモリベースの手法で最も一般的なアルゴリズムは KNN アルゴリズムで、ピアソン、スピアマン、コサイン、ジャカードなどの従来の類似性測定を使用します。一方、モデルベースの手法の中で最も一般的に使用されるのは、行列分解 (MF) とその派生手法 (NMF、SVD) です。現在、ベイジアン、クラスタリングベース、ルールベース、グラフベースの推奨方法など、いくつかの新しいモデルベースの協調フィルタリング方法が登場しています。

協調フィルタリングには 2 つの主な問題があります。1 つはユーザーとアイテム間の対話がほとんどない場合のユーザーデータの希薄性、もう 1 つはコールドスタート問題 (新しいユーザーと新しいアイテム) です。さらに、従来のレコメンデーションテクノロジでは、レコメンデーションシナリオにおける多くの意味情報、キーワードの関係、階層構造が活用されていません。

02コンテンツフィルタリングに基づく推奨方法

この手法に基づくレコメンドシステムは、ユーザーが過去に好んだアイテムとコンテンツ特性が類似した新しいアイテムを学習することで、新しいアイテムをレコメンドします。このような手法は、事例ベースの推論と属性ベースの手法に分類できます。事例ベースの推論技術は、主にユーザーが過去に気に入ったアイテムと関連性の高いアイテムを推奨します。対照的に、属性ベースの技術は、アイテム属性とユーザー属性の一致に基づいて推奨結果を生成します。コンテンツフィルタリングに基づくほとんどの推奨システムで使用されるモデルには、キーワードマッチングまたはベクトル空間モデル (VSM)、用語頻度 - 逆ドキュメント頻度 (TF-IDF) 重み付け、トピックモデリングなどが含まれます。

コンテンツフィルタリングによる推奨方法に基づくと、推奨アイテムはテキストの関連性が高く、推奨結果を十分に説明できます。ただし、推奨結果はそれほど驚くべきものではなく、テキストのスパース機能も影響を及ぼします。相関関係の計算。

03人口統計情報のフィルタリングに基づく推奨方法

この方法の主な考え方は、特定の個人属性 (性別、年齢、国など) を共有するユーザーは共通の好みも共有するという事実です。これに基づいて、これらのシステムは人口統計的属性に基づいてユーザーを分類することで推奨事項を生成できます。これらの方法は、アイテムに関する情報の量が限られている場合に特に役立ちます。このアプローチの利点は、コンテンツベースの協調フィルタリングアプローチに必要な、ユーザーがアイテムを評価したり対話型のフィードバックを行う必要がないことです。

ただし、このタイプの推奨方法の主な問題は次のとおりです。まず、セキュリティとプライバシーの問題により、ユーザーの完全な情報を収集するのは非現実的です。第 2 に、この方法は、関連する人口統計上のユーザーをターゲットにしています。グループは同じ製品を推奨しており、パーソナライズの程度は限られています。

04コンテキスト認識フィルタリングに基づく推奨方法

このタイプの推奨システムは、シーンのコンテキスト情報を組み合わせて推奨を行います。このアプローチは、現在の推奨シナリオのコンテキストが、事前定義された一連の観察可能な属性で定義されており、その構造が時間の経過とともに大きく変化しないことを前提としています。いわゆるコンテキスト情報には、主に時間、場所、または他の人 (友人、親戚、同僚など) が含まれます。このコンテキスト情報は、推奨結果を生成するための追加情報を提供します。これは、ユーザーまたはアイテム自体の情報のみを考慮するよりも補完的です。

05知識フィルタリングに基づく推奨方法

このタイプの推薦システムは、主にドメイン知識に基づいて、ユーザーの興味や好みを満たすためにどのように推薦するかを検討します。これらのシステムでは、ユーザーに関する知識、アイテムに関する知識、アイテムとユーザーのニーズの対応に関する知識の 3 種類の知識を使用する必要があります。一般に、この方法は主にナレッジグラフに依存して、推奨システムにより多くの補助情報を提供し、推奨精度を向上させます。詳しくは後ほどご紹介します。

06ハイブリッドフィルタリングの推奨方法

これらのシステムは通常、協調フィルタリングとコンテンツフィルタリング、または協調フィルタリングと他の推奨方法を組み合わせてレコメンデーションを行います。組み合わせの目的は、それぞれのアプローチの長所を活用して、システム全体のパフォーマンスとレコメンデーションの有効性を向上させることです。現在、ハイブリッド手法に関する研究には、深層学習、ベイジアンネットワーク、クラスタリング、潜在特徴、グラフ構造などに基づく手法が含まれています。

近年、DNN、 Wide & Deep、DeepFM などのディープニューラルネットワークに基づく手法は、ランク付け学習 (LTR) において目覚ましいパフォーマンスを達成しました。これらの方法は、埋め込みおよび多層パーセプトロン (MLP) パラダイムに従い、大規模なスパース特徴が最初に低次元ベクトルに埋め込まれ、次に多層パーセプトロンに連結されて特徴間の非線形関係が学習されます。高度な LTR 手法は、ランキングのためにユーザーの過去の行動からユーザーの興味を抽出する有効性を発見します。具体的には、DIN (Deep Interest Network) はアテンションメカニズムを使用して、候補アイテムに対するユーザーの過去の行動からユーザーの関心の表現を学習します。 DIEN (Deep Interest Evolution Network) はリカレントニューラルネットワークを使用してユーザーの興味の進化を捕捉します。 DMT (Method Deep Multifaceted Transformers) は、複数のトランスフォーマーを使用してユーザーのさまざまな行動シーケンスをモデル化します。

一般に、推奨アルゴリズムは推奨システムの中核要素です。協調フィルタリングに基づく推奨方法は、インタラクティブデータ内のユーザーまたはアイテムの類似性に基づいてユーザーの興味や好みをモデル化しますが、コンテンツフィルタリングに基づく推奨方法は主にアイテムのコンテンツ特性を使用します。協調フィルタリングに基づくレコメンデーションシステムは、ユーザーの好みを効果的に把握でき、コンテンツフィルタリングベースのレコメンデーションシステムのようにさまざまな機能を抽出する必要がなく、さまざまなシナリオで迅速かつ便利に実装できるため、広く使用されています。ただし、協調フィルタリングに基づく推奨方法には、データのスパースとコールドスタートの問題があります。これらの問題を解決するために、インタラクションレベルの類似性とコンテンツレベルの類似性を統合する多くのタイプのハイブリッド推奨システムが提案されています。このプロセスでは、アイテムの属性、レビューデータ、ユーザーのソーシャルネットワークなど、さまざまな種類の補助情報も調査されました。ハイブリッドレコメンデーションシステムは通常、より優れたレコメンデーション結果を達成できることが実践で証明されており、近年ますます人気が高まっています。

ナレッジグラフの概要

ナレッジグラフ (KG) は、エンティティや概念を記述し、さまざまな種類の意味関係を使用してそれらを接続する構造です。 2012 年、Google は、検索エンジンの機能を向上させ、ユーザーの検索エクスペリエンスを向上させることを目的として、Web 検索における意味論的な知識の使用を指す「ナレッジグラフ」という用語を提案しました。「ナレッジグラフ」という用語が普及する前、DBPedia およびその他のリンクデータセットは、セマンティック Web テクノロジと、Berners-Lee によって提起されたリンクデータ設計問題によって生成されました。現在、KG は業界で広く注目を集めており、大規模システムに適用されています。

ここ数年、リンクトデータの原則に従って、人物、書籍、音楽、映画、位置情報などのさまざまな主題分野からのさまざまな情報を組み合わせることで、セマンティックデータの量が増加しています。 ) は、公開のために統一されたグローバルデータスペースに接続されています。これらの異種データは相互接続され、ナレッジベースと呼ばれる巨大な情報リソースライブラリを形成します。 YAGO、NELL、DBpedia、DeepDive などの学術プロジェクトや、Microsoft のSatori や Google の Knowledge Graph などの商用プロジェクトなど、いくつかの典型的なナレッジベースが構築されています。ナレッジベースからの異種接続情報を使用すると、単一ドメインのデータでは発見するのが難しい問題についての洞察を得ることができます。

以下にナレッジベースの一部を紹介します。

Freebase は、世界の知識の公開リポジトリとなるように設計された、非常に実用的で拡張可能なタプルデータベースシステムです。そのデザインは、セマンティック Web や Wikipedia など、広く使用されている情報コミュニティからインスピレーションを得ています。 Freebase のデータは、共同作成を通じて構造化され、生成されます。非常に多様で異種のデータをサポートし、拡張性が高くなります。 Freebase には現在、1 億 2500 万以上のタプル、4000 以上のタイプ、7000 以上の属性が含まれています。 MQL (Metaweb Query Language) はデータのクエリや操作を行うための言語で、Freebase 上での読み書き操作は HTTP プロトコルに基づくグラフクエリ (graph-query) API を通じて実現できます。 MQL は、Freebase のタプルデータに使いやすいオブジェクト指向インターフェイスを提供し、Web ベースのデータ指向アプリケーションの共同作成を容易にするために作成されました。
DBpedia は、111 言語の Wikipedia バージョンから構造化データを抽出して構築された大規模な多言語知識ベースです。 Wikipedia の英語版から抽出された最大の DBpedia ナレッジベースには、370 万の事柄を説明する 4 億を超える事実データが含まれています。 DBpedia ナレッジベースには、他の 110 の Wikipedia バージョンから抽出され、さらに 1,000 万の事柄を説明する合計 14 億 6,000 万の事実が含まれています。 DBpedia は、27 の異なる言語バージョンの Wikipedia 情報ボックス (インフォボックス) を、320 のクラスと 1650 の属性で構成される単一の共有オントロジーにマップします。これらの地図は、さまざまなバージョンの Wikipedia からの知識を融合するための世界規模のクラウドソーシングの取り組みを通じて作成されています。このプロジェクトは、すべての DBpedia ナレッジベースをダウンロード用に定期的に公開し、ローカル DBpedia 章のグローバルネットワークを通じて 111 言語バージョンのうち 14 言語バージョンでの SPARQL クエリへのアクセスを提供します。定期的なリリースに加えて、プロジェクトは、Wikipedia のページが変更されると更新されるライブナレッジベースを維持します。 DBpedia には、30 を超える外部データソースへの 2,700 万の RDF リンクがあり、これらのソースのデータを DBpedia データで使用できるようにします。
YAGO は、ドイツのマックスプランク研究所によって開発されたリンクデータベースです。 YAGO は主に、Wikipedia、WordNet、GeoNames の 3 つのソースからのデータを統合します。 YAGO はエンティティとリレーションシップに基づいて構築されています。現在、100 万以上のエンティティと 500 万のファクト、Is-A 階層とエンティティ間の非カテゴリ関係を含む 1 億 2,000 万のトリプル知識が含まれています。ファクトは Wikipedia から自動的に抽出されています。 WordNet と統合されました。 YAGO は WordNet の語彙定義と Wikipedia の分類システムを統合し、YAGO にさらに豊富なエンティティ分類システムを提供します。 YAGO は時間と空間の知識も考慮し、時間と空間の次元の属性記述を多くの知識項目に追加します。

ナレッジグラフは本質的に、グラフベースのデータ構造と、エンティティ間の関係を明らかにするセマンティックネットワークです。一般に、異なる種類の情報を結び付けて得られる意味関係ネットワークのことであり、ナレッジグラフは、客観的な世界を構造化して記述し、背景知識を沈殿させ、情報知識を人間の世界理解に近い形で表現します。検索エンジン、インテリジェントな推奨、インテリジェントな質疑応答、言語理解、意思決定分析などの分野で広く使用されています。

ナレッジグラフによって強化されたインテリジェントなレコメンデーションシステムとアプリケーション - Yu Jing

図2 Daguan Knowledge Graphの機能表示

Daguan Knowledge Graph は、Daguan Data Company がさまざまな業界のナレッジグラフアプリケーション向けに発売した新世代製品で、ナレッジグラフの設計、構築、編集、管理、アプリケーションのライフサイクル全体の実装を統合しており、顧客の複数のニーズに基づいています。ナレッジミドルプラットフォームを統合して構築すると、ビジネスシナリオから開始してマップを生成し、次にマップベースのアプリケーションを実装できるため、さまざまな業界におけるナレッジマップの効率と有効性が大幅に向上します。

ナレッジグラフとレコメンデーションシステム

従来のレコメンデーションシステムは、ユーザーとアイテム間のより明示的または暗黙的なフィードバックを入力として受け取るため、次の 2 つの問題が発生します。

実際のシナリオでは、ユーザーとアイテム間のインタラクション情報は特に希薄です。たとえば、オンラインショッピングアプリケーションには数十万の商品が含まれている場合がありますが、ユーザーが実際に購入する商品の数は数百にすぎない可能性があります。このような少量の行動フィードバックデータを使用して大量の未知の情報を予測すると、アルゴリズムの過剰適合のリスクが大幅に増加します。
新しいユーザーや新しいアイテムの推奨の場合、過去のインタラクション情報が不足しているため、システムの推奨の精度が大きく悪影響を受けます。スパース性とコールドスタートの問題を解決する一般的な方法は、ユーザー属性、アイテム属性、コンテキスト情報などの追加の補助情報を推奨アルゴリズムの入力に導入することです。

近年、補助情報としてナレッジグラフをレコメンデーションシステムに導入することが産学界で注目の研究となっている。一方で、KG は、協調フィルタリングおよびコンテンツフィルタリングベースの推奨方法が直面する問題を克服するための補足情報として豊富なドメイン知識を提供でき、他方で、推奨システムは、KG に存在する意味論的関係を使用して精度を向上させることができます。アイテムの種類も豊富です。具体的には、KG レコメンデーションは、ユーザー、推奨されるアイテム、およびそれらのインタラクションを表すエンティティ間の接続を利用します。レコメンダーシステムは、さまざまな接続を使用して、ターゲットユーザーが興味を持つ可能性のあるアイテムのコレクションを識別します。したがって、複雑な関係表現は、KG ベースのレコメンダーシステムがノード間で推論を適用して新しい接続を発見するための追加の貴重な情報を提供します。それどころか、一般に、特徴ベクトルに基づく従来の推奨方法はこの関係を無視するため、特にデータがまばらな場合、全体的な推奨パフォーマンスの低下につながる可能性があります。

ナレッジグラフと統合されたレコメンデーションシステム

KG は異種グラフであり、ノードはエンティティを表し、エッジはエンティティ間の関係を表します。アイテムとその属性を KG にマッピングして、アイテム間の相互関係を特徴付けることができます。さらに、ユーザーとその情報もKGに統合できるため、ユーザーとアイテムの関係性やユーザーの好みをより正確に把握できます。

一般に、KG ベースの推奨方法では、最初のステップで KG を構築する必要があります。KG は、アイテムナレッジグラフ (IKG) またはユーザーアイテムナレッジグラフ (UIKG) です。

IKGについて。 IKG では、アイテムとその関連エンティティ (アイテム属性など) がノードとして使用され、エッジはアイテムの属性レベルの関係 (ブランド、カテゴリなど)、またはユーザー関連の関係 (「すべて」など) を表すことができます。閲覧した」、「すべて購入」）。
UIKGについて。 UIKG では、ユーザー、アイテム、およびそれらに関連するエンティティがノードであり、エッジはユーザーとアイテム間の関係 (クリック、コレクション、購入など) を表すことができます。

IKG の構築を例にとると、アイテムは最初に外部 KG にマッピングされて、関連するエンティティを見つけます。次に、関連するエンティティのマルチホップ近傍が KG から抽出され、そのサブグラフが形成されます。推薦制度。もちろん、外部の KG に依存する必要はなく、提供されたデータ内の補助情報に基づいて KG を構築できます。

説明可能な推奨システムは、近年人気のある研究の方向性の 1 つです。一方で、推薦結果提示の実装により、ユーザに適切な推薦説明を提供することができれば、ユーザは相対的に推薦結果を受け入れやすくなる。一方で、レコメンドアルゴリズムについてより深く理解することも可能です。従来のレコメンデーションシステムと比較して、ナレッジグラフに基づくレコメンデーションシステムは、ユーザーとアイテムを結び付けるさまざまなエンティティや関係を提示し、推論プロセスをより適切に示すことができます。

ナレッジグラフに基づく推奨手法は、ナレッジグラフデータの適用方法に応じて、埋め込みベースの手法、接続ベースの手法、伝播ベースの手法の 3 つのカテゴリに分類できます。

01埋め込みベースの方法

埋め込みベースの手法の主なアイデアは、KG 内の大量の事実知識を使用して、ユーザーとアイテムの多次元表現をさらに充実させることです。これには主に 2 つの基本モジュールが含まれています。グラフ埋め込みモジュール, KG 内のエンティティと関係の表現を学習するには、ナレッジグラフ埋め込み (KGE) アルゴリズムを適用して、KG を低ランクの埋め込みにエンコードする必要があります。KGE アルゴリズムは、変換距離の 2 つのカテゴリに分類できます。 TransE、TransH、TransR、TransD などのモデルや、DistMult などのセマンティックマッチングモデル。

もう 1 つは推奨モジュールで、学習された特徴に基づいてアイテムに対するユーザーの好みを予測するために使用されます。これら 2 つのモジュールがレコメンデーションフレームワーク全体でどのように関係しているかの違いに基づいて、埋め込みベースの手法は、2 段階学習手法、共同学習手法、およびマルチタスク学習手法にさらに細分化できます。このタイプの方法が直面する課題には、適切な KGE 方法を使用してエンティティの埋め込み表現を取得する方法と、学習したエンティティ埋め込み表現を推奨モジュールに統合する方法が含まれます。

図 3 DKN フレームワーク

(1) 2 段階学習法

2 段階学習法とは、グラフ埋め込みモジュールと推奨モジュールを別々に学習することを指します。最初のステップでは、KGE アルゴリズムを使用してエンティティと関係の埋め込み表現を学習し、その後、事前トレーニングされたグラフ関連の埋め込みが、他のユーザー特徴やアイテム特徴とともに、ユーザーの関心を予測するための推奨モデルに入力されます。。図3は、ニュースレコメンドに使用されるDKN（Deep Knowledge-aware Network）の2段階学習フレームワーク図です。第 1 段階では、ニュースヘッドラインのエンティティが抽出され、Satori KG にマッピングされ、ニュース間の知識レベルの関係がマイニングされます。 DKN は、KCNN で学習した文のテキスト埋め込み表現と、TransD を介したニュースコンテンツ内のエンティティの知識レベルの埋め込みを組み合わせてニュースをモデル化します。ニュースに対するユーザーの動的な関心を捉えるために、ユーザーがクリックしたニュースの埋め込み履歴を集約することでユーザーの表現を学習するアテンションメカニズムが導入されています。

2 段階の学習アプローチは実装が簡単で、KG 埋め込みは後続の推奨モジュールの追加機能として考慮されることがよくあります。もう 1 つの利点は、KG 埋め込みは相互作用データなしで学習できるため、大規模な相互作用データセットによって計算の複雑さが増加しないことです。さらに、KG は通常安定しているため、一度埋め込み表現を学習すると、埋め込み表現を頻繁に更新する必要はありません。ただし、KGE モデルを通じて最適化されたエンティティ埋め込みは、KG 補完などのグラフ内アプリケーションにより適しています。 KGE モジュールと推奨モジュールは疎結合であるため、学習された埋め込みは後続の推奨タスクには適さない可能性もあります。

図4 CKE推奨システムのプロセス

(2) 共同学習手法
もう 1 つのトレンドは、エンドツーエンドのトレーニング手法における共同学習 (Joint Learning) グラフ埋め込みモジュールと推奨モジュールです。このようにして、推奨モジュールはグラフ埋め込みモジュールの特徴学習プロセスをガイドできます。 CKE (Collaborative Knowledge Base Embedding) は、項目の属性レベルの機能、テキスト機能、視覚的機能など、さまざまなタイプの補助情報を CF フレームワークに統合します。属性レベルの特徴は、KG から構造知識を学習するために TransR でエンコードされ、テキスト特徴と視覚的特徴はオートエンコーダーで抽出されます。これら 3 つの特徴学習モジュールと推奨モジュールの目的関数は、共同してモデルパラメーターを学習します。

フェデレーション学習方法により、エンドツーエンドのトレーニングが可能になり、KG 構造を使用してレコメンダーシステムを正規化できます。ただし、実際のアプリケーションでは、さまざまな目的関数の組み合わせを微調整する必要があります。

図 5 MKR フレームワークと相互圧縮ユニットの例

(3) マルチタスク学習方法
最近の研究の方向性は、KG の指導の下、マルチタスク学習 (Multi-Task Learning) 戦略を使用して推奨タスクを訓練することです。関連タスク。その動機は、ユーザーとアイテムの相互作用の 2 部グラフ内のアイテムと、KG 内のそれらに関連するエンティティが同様の構造を共有する可能性が高いためです。したがって、アイテムとエンティティの間で低レベルの機能を転送すると、レコメンデーションシステムの改善が促進されます。 MKR (ナレッジグラフ拡張レコメンデーションのためのマルチタスク機能学習アプローチ) は、レコメンデーションモジュールと KGE モジュールで構成されます。 KG エンベディングを推奨モジュールに供給する代わりに、2 つのモジュールは独立しており、相互圧縮ユニットを介して接続され、知識を共有します。推奨モジュールは候補アイテムに対するユーザーの好みを推定するようにトレーニングされ、KGE モジュールは特定の先頭エンティティとトリプレットの末尾エンティティ表現を推定するようにトレーニングされます。具体的には、推奨モジュールは MLP に基づいてエンドユーザーの表現を取得します。最終的なアイテム表現は、KG 内の L 層相互圧縮ユニットとその関連エンティティによって洗練されます。非線形関数を使用して、候補アイテムに対するユーザーの好みを推定します。

マルチタスク学習戦略を適用することで、推奨システムの過剰適合を防止し、モデルの一般化能力を向上させます。ただし、フェデレーテッドラーニング手法と同様に、さまざまなタスクを 1 つのフレームワークの下に統合する取り組みが必要です。
要約すると、2 段階学習方法は実装が簡単ですが、学習されたエンティティエンベディングは推奨タスクには適していない可能性があり、共同学習方法は、最適化されたエンティティエンベディングをエンドツーエンドで学習します。モデルの汎化能力は、KG 関連タスクからの知識を移転することによってさらに向上します。ただし、さまざまな目的関数の最適な組み合わせを見つけるには、広範な実験が必要です。

02接続ベースの方法

接続ベースの方法では、グラフ内の接続パターンを使用して推奨事項をガイドします。関連する作品のほとんどは、UIKG を使用してグラフ内のエンティティ間の関係をマイニングします。 KG 内の接続情報を調査するには、主に 2 つの方法があります。最初の方向は、メタパスやメタグラフなどのグラフ内のメタ構造を使用して、エンティティ間の類似性を計算することです。メタ構造ベースの類似性は、ユーザーおよびアイテムの表現に対する制約として使用でき、また、インタラクション履歴内の類似ユーザーまたは類似アイテムに対するユーザーの興味の好みを予測するために使用することもできます。 2 番目の解決策は、ユーザーとアイテムのペアまたはアイテムとアイテムのペアの間の接続パターンを、レコメンデーションフレームワークに統合できるベクトルにエンコードすることです。この方法は、パス埋め込みベースの方法とも呼ばれます。このアプローチの課題には、1) さまざまなタスクに適切なメタパスを設計する方法、2) エンティティ間の接続パターンをモデル化する方法が含まれます。

(1) メタ構造に基づく手法

メタ構造ベースの方法の実装の 1 つは、異なるメタパス内のエンティティの接続類似性をグラフ正則化項として使用し、ユーザーとアイテムの表現を制約することです。その動機は、メタパスに基づくエンティティの類似性が高くなるほど、それらが潜在空間に近づくことです。
目的関数は式 (1) に示されます。

ここで、LRec は推奨システムの目的関数を表し、一般的な選択肢は行列分解です。類似性制約付き LSim は、ユーザーの埋め込みと項目の埋め込みの学習をガイドします。グラフ内のエンティティ間の接続の類似性を測定するには、式 (2) に示すように、通常、PathSim が使用されます。

ここで、Pm~n はエンティティ m と n の間のパスです。通常、次の 3 種類のエンティティ類似度が使用されます。 (a) ユーザー間の類似度、目的関数は式 (3) に示すとおりです。

ここで、||Ui-Uj||F は行列のフロベニウスノルムを表し、=[1,2,...L] は各要素パスの重みを表し、U=[u1, u2,...,um]すべてのユーザーの潜在ベクトルを表します。S[1-(i,j)] は、メタパス内のユーザー i と j の類似性スコアを表します。ユーザーがメタパスに基づいて高い類似性を共有する場合、ユーザー間の類似性により、潜在空間内でユーザーの埋め込みが近くなるように強制されます。

(b) アイテム間の類似性、目的関数は式 (4) で示されます。

ここで、V=[v1,v2,...,vn] はすべてのアイテムの潜在ベクトルを表します。ユーザー間の類似度と同様に、アイテムのメタパスベースの類似性が高い場合、アイテムの低ランク表現に近いはずです。

メタパスに基づく類似性が高い場合、ユーザーとアイテムの類似性項により、ユーザーとアイテムの潜在ベクトルが互いに近くなります。

上記の 3 つの類似性手法に加えて、メタ構造ベースの手法では、エンティティの類似性を使用して、未評価アイテムに対するユーザーの関心を予測することもできます。これは、KG における嗜好の融合とみなすことができます。

要約すると、上記の方法は、最初に相互作用行列からユーザーとアイテムの潜在ベクトルとメタ構造に基づくそれらの相互類似性を学習し、次に強化された表現に基づいて予測を行います。同様のユーザー評価の加重セットを直接使用して、評価されていないアイテムの好みを予測することもできます。メタ構造ベースの方法は、これらの手動で設計されたメタ構造が、候補アイテムとインタラクティブアイテムまたはターゲットユーザーの間のメタ構造を照合することによって、レコメンデーションシステムのためにより多くの参照情報を提供するため、解釈可能です。

メタ構造ベースの手法は実装が簡単で、ほとんどの作業はモデルの複雑さが比較的低い MF 手法に基づいています。ただし、メタパスまたはメタグラフの選択にはドメインの知識が必要であり、これらのメタ構造はデータセットによって大きく異なる場合があります。さらに、特定のシナリオでは、メタ構造ベースのメソッドを適用することが適切でない場合もあります。たとえば、ニュースの推奨タスクでは、1 つのニュースに属するエンティティが異なるドメインに属する可能性があるため、メタパスの設計が困難になります。

(2) パス埋め込みによる手法

メタ構造ベースのアプローチの問題の 1 つは、接続パターンが明示的にモデル化されていないため、ユーザーとアイテムのペアと接続パターンの間の相互作用を学習することが困難であることです。ただし、パス埋め込みベースのメソッドは、接続パターンの埋め込みを明示的に学習できます。ユーザーと項目または項目と項目の関係を直接モデル化するために、UIKG のユーザーと項目のペア、または IKG の項目と項目のペアを接続するパスの明示的な埋め込みを学習します。 UIKG の関係モデリングを例に挙げると、KG に ui と Vj を接続する K 個のパスがあり、パス p の埋め込みが hp で表されると仮定すると、ui と Vj の間の相互作用の最終表現は式 ( 6):

ここで、 g() は、各パスの埋め込みからの情報を要約する関数です。一般的な選択肢は、最大プーリング演算または加重和演算です。次に、ui と Vj の好みは式 (7) によってモデル化できます。

ここで、 f() は、ユーザーとアイテムのペア間の相互作用表現とユーザーとアイテムのペアの嗜好スコアへの埋め込みをマッピングする関数です。

推奨結果は、各メタパスの重みを確認することで説明できます。メタパスの重みが大きいほど、ターゲットユーザーと候補アイテムの間の関係が意思決定の際により重要であることを意味します。

パス埋め込みベースの手法では、ユーザーとアイテムのペアまたはアイテムとアイテムのペアの接続パターンを潜在ベクトルにエンコードするため、ターゲットユーザー、候補アイテム、接続パターンの相互影響を考慮できます。さらに、大規模な Most モデルは、事前定義されたメタ構造の助けを借りずに、適切なパスを計算し、顕著なパスを選択することにより、接続パターンを自動的にマイニングできます。したがって、表現力豊かな接続パターンをキャプチャできる可能性があります。ただし、グラフ内の関係が複雑な場合、グラフ内の可能なパスの数が非常に多くなる可能性があります。実際には、大規模な KG 内のすべてのエンティティペアのすべてのパスを活用することは不可能であり、モデルのパフォーマンスが妨げられる可能性があります。

要約すると、接続ベースの方法は接続パターンに大きく依存します。しかし、メタパスの表現能力には限界があるため、従来のメタ構造ベースの手法のパフォーマンスが妨げられます。パス埋め込みベースの方法は、ドメインの知識とパスの手動構成の必要性というメタ構造ベースの方法のもう 1 つの欠点をさらに克服します。これらのメソッドは、可能なパスを列挙し、ユーザーと項目のペアまたは項目と項目のペア間の関係を明示的にモデル化します。ただし、パス埋め込みベースの方法は、これらのモデルが比較的複雑で、パスを列挙して表現を学習するときにより多くの計算を必要とするため、ある程度のスケーラビリティを犠牲にします。

03伝播ベースの方法

埋め込みベースの方法では、ナレッジグラフのセマンティック関係を利用してユーザーとアイテムの表現を強化しますが、エンティティ間の高次の関係を把握するのが困難です。接続ベースの方法では、グラフ内の接続情報を使用して推奨をガイドしますが、複雑なユーザーアイテムの接続パターンを個別の線形パスに分解することで情報が失われることは避けられません。 KG の情報を最大限に活用するために、伝播ベースの手法ではエンティティと関係の表現、および高次の接続パターンを統合して、よりパーソナライズされた推奨事項を実現します。伝播ベースの手法の主なアイデアは伝播を埋め込むことであり、一般的な実装は GNN テクノロジーに基づいています。これらの方法は、KG 内のマルチホップ近隣の埋め込み表現を集約することによってエンティティ表現を改良します。ユーザーと潜在的なアイテムの豊富な表現を使用して、ユーザーの好みを予測できます。

メッセージ配布プロセスで洗練されたエンティティタイプの違いに従って、メッセージはさらに 3 つのカテゴリに分類できます。このアプローチには次のような課題があります。

異なる近傍に適切な重みを割り当てる方法
さまざまな関係にニュースを広める方法
モデルのスケーラビリティを向上させる方法

(1) ユーザーの埋め込み表現の洗練
ユーザーのインタラクション履歴に基づいてユーザーの埋め込み表現を洗練します。まず、複数のリレーションシップを使用してインタラクティブなアイテムと候補アイテムを接続する IKG が構築されます。そうすれば、ユーザーは、彼らが対話するアイテムとそのマルチホップの近隣アイテムの組み合わせとして表すことができます。具体的には、インタラクション履歴内のアイテムが伝播プロセスのシードとして選択されます。次に、グラフ内のリンクに沿ってマルチホップトリプレットセット S[k-ui](k=1,2,...,H) を抽出します。ここで、S[1-ui] はトリプレットセット (eh, r 、et)、ヘッドエンティティは、ユーザー ui が操作したアイテムのリストです。ユーザー表現 UI を学習するプロセスは、次の 2 つのステップとして表現できます。

(a) トリプレット集合 S[k-ui] (k=1,2,...,H) の各層のエンティティを集約することにより、ユーザーの埋め込み表現 o[k-u] を計算します。

(b) o[k-u](k=1,2,...,H) をマージして、最終的なユーザー埋め込み表現 ou を取得します。

伝播プロセスは、ユーザーが操作したアイテムから始まり、遠く離れた隣のアイテムで終わるため、このプロセスは、IKG でユーザーの好みを層ごとに広めているとみなすことができます。したがって、これらの方法は、KG 内のパスに沿って歴史的関心からのユーザーの好みを伝播するものとして解釈できます。

これらの方法では、エッジの重みは IKG で明示的に指定されます。したがって、候補アイテムとインタラクションアイテムを結ぶ重要なパスを選択し、推奨結果の説明として使用できます。これらの作業はエンティティの埋め込みと高次の接続情報の両方を利用しますが、伝播プロセス中に更新されるのはユーザーの埋め込み表現のみです。

(2) 項目表現の改良
上記では、エンティティをグラフの外側に集約することによるユーザー埋め込み表現の最適化を紹介しています。もう 1 つの方法は、IKG 内のアイテム Vj のマルチホップ近傍 N[k-u] (k=1,2,...,H) の内向き埋め込み表現を集約することによって、候補アイテム Vj の高次表現を学習することです。内向き伝播プロセスでは、グラフアテンションメカニズムが採用され、さまざまな近傍の重みがユーザーと関係によって決定されます。ユーザーが異なる関係に対して異なる好みを持っていることを主に考慮して、KG の情報フローを決定できます。

伝播プロセスの各ラウンドは、次の 2 つのステップとして表されます。

(a) 式 (8) を使用してエンティティ ei の最近傍を集計します。

(b) 式 (9) に示すように、h-1 次の近傍埋め込みと自己埋め込みを使用して、エンティティの h 次表現を更新します。

ここで、e[0-i] はエンティティの初期表現を表し、e[h-i] はエンティティの h 次表現を表します。これは、エンティティの初期表現とエンティティからの表現の混合です。 hホップの隣人。集約関数は N 近傍をベクトル ∈ Rd にマップし、更新関数 g() は非線形関数 Rd Rd → Rd です。このプロセスを H 回繰り返すことにより、候補項目表現には H ホップの近隣からの情報が含まれます。

要約すると、項目の埋め込み表現は、IKG 内への伝播を通じて洗練されます。ただし、KG での外部集約のユーザー絞り込みと同様に、1 種類のエンティティのみが絞り込まれます。

(3) ユーザーとアイテムの表現の改良
UIKG の伝播プロセス中、ユーザー、アイテム、およびそれらに関連するエンティティはすべてグラフ内で接続されます。関係としてのユーザーとアイテムのペア。ユーザーエンベディングとアイテムエンベディングは、式 (8) および (9) に示すように、伝播プロセス中に対応する近傍を使用して調整できます。

IKG の伝播と同様に、UIKG のエッジの重みもユーザーによって決定されます。したがって、これらのモデルは、ターゲットユーザーと候補アイテムを結ぶ顕著なパスを調べることによって、推奨結果の説明を提供できます。ユーザーは 1 つのタイプのノードに結合されるため、各インタラクティブ項目の貢献が利用できるため、解釈がより直観的になります。ユーザーを KG に組み込むことにより、高次の接続パターンをより広範囲に探索できます。欠点は、グラフ内の関係が増えると無関係なエンティティが表示され、集計プロセスにおけるユーザーの好みを誤解させる可能性があることです。

要約すると、伝播ベースの方法は通常、計算コストが高くなります。グラフが大きくなるにつれて、モデルは収束しにくくなります。効率を向上させるために、より高速なグラフ畳み込み演算を使用でき、通常は各層で近傍サンプリングが適用されます。ただし、ランダムサンプリングでは情報の損失が避けられず、グラフ内の知識を完全に掘り出すことができません。

04KG に基づいた推奨方法の概要

埋め込みベースの方法、接続ベースの方法、および伝播ベースの方法の上記の導入を通じて、埋め込みベースの方法が最も柔軟な方法であることがわかります。一方で、KGE モジュールを使用して KG をエンコードするのは比較的簡単で、学習された埋め込みをユーザー表現またはアイテム表現に自然に統合できます。接続ベースのアプローチでは、グラフ内でメタパスまたはメタグラフを定義するのは面倒な場合があります。伝播ベースのメソッドの場合、集約部分と更新部分を慎重に設計する必要があります。一方、埋め込みベースの方法は、通常、さまざまなタスクで外部の知識を利用できるため、ほとんどのアプリケーションシナリオに適しています。対照的に、メタ構造ベースの方法では、メタパスは通常、さまざまなアプリケーションシナリオに応じて多様であり、新しいデータセットに一般化することはできません。さらに、ニュースの推奨などの特定のシナリオでは、メタパスを定義し、メタ構造ベースの方法を適用することは困難です。同時に、パス埋め込みベースの方法と伝播ベースの方法は両方とも、パスと隣接パスを列挙するときに計算の複雑さが大きくなる可能性があるため、大規模なデータセットを使用する推奨シナリオには適していません。さらに、接続ベースの手法ではパスの質と量が非常に重要であるため、疎なデータセットでは、そのような手法で関係をマイニングし、関心のあるモデルを作成するのに十分なパスが提供されない可能性があります。ただし、埋め込みベースの方法と接続ベースの方法はどちらも、KG 内の情報を完全に探索できません。近年、GNN テクノロジーの発展に伴い、伝播ベースの手法が新しい研究トレンドとなっています。さらに、接続ベースの方法と伝播ベースの方法はどちらも KG のパスによって説明できますが、埋め込みベースの方法は説明が直感的ではありません。

KG 勧告に基づく解釈可能性

KGには、推奨結果を解釈するための補助情報が大量に含まれており、主に以下の方法があります。

01リレーショナルエンベディングのアテンションメカニズム

この方法は主に埋め込みベースの方法で使用されます。アテンションメカニズムは、KG 内のエンティティ間の関係の埋め込みに適用されます。異なる関係性の注目重みから、対象ユーザーにとってのアイテム属性の種類ごとの重要度を取得できます。したがって、この手法では、推奨事項の好みレベルの説明を提供できます。

02メタパスまたはメタグラフを定義する

選択されたアイテムとターゲットユーザーまたはインタラクティブアイテムの間の関係は、いくつかのメタパスまたはメタグラフの組み合わせに分解できます。メタパスまたはメタグラフを理解可能なルールに変換することにより、システムは説明を提供できます。

03パス埋め込みの注意メカニズム

パス埋め込み手法では、対象ユーザーと候補アイテムを結ぶ特定のパスの重みをアテンション機構を通じて取得できます。各パスの重みは、ユーザーにとっての各パスの相対的な重要性を表すことができます。したがって、グラフ内の重要なパスに基づいて説明を行うことができます。

04UIKG での強化学習

強化学習技術を使用して UIKG でエージェントをトレーニングすることにより、ユーザーとアイテムのペアを接続する実際のパスをマイニングできます。すでに選択されている推奨結果について事後的な説明を探すのではなく、KG で推論プロセスを直接表示できます。したがって、推論プロセスは正確であり、ターゲットユーザーにとって信頼できます。

05エッジウェイトの抽出

伝播ベースの方法では、集約プロセス中に各タイプの近傍にユーザー固有の重みを割り当てる必要があります。エッジの重みは、グラフ内のエンティティ間の情報フローを制御し、KG 内の各関係の重要性を反映できます。さらに、KG 内のエンティティ間のエッジの重みは、注意の重みまたは学習された関係行列から取得することもできます。したがって、候補アイテムとターゲットユーザーを接続する顕著なパスを見つけることによって、またはマルチホップ隣接アイテムで相互作用するアイテムを見つけることによって、説明を生成できます。

今後の展望

前の紹介から、KG に基づくレコメンデーションシステムには、レコメンデーションの精度とレコメンデーション結果の解釈可能性の点で多くの利点があることがわかります。 KG の補助情報を最大限に活用してパーソナライズされた正確な推奨を行うための優れたモデルが学界や産業界でも提案されています。ただし、いくつかの方向では、詳細に研究する価値のある作業がまだ多くあります。主に以下の点に反映されています。

01 动态推荐

GNN または GCN アーキテクチャを備えた KG ベースのレコメンデーションシステムは優れたパフォーマンスを実現しますが、トレーニングプロセスには非常に時間がかかります。したがって、そのようなモデルは静的な優先順位の推奨事項と見なすことができます。ただし、オンラインショッピングやニュースの推奨など、一部のシナリオでは、ユーザーの興味はソーシャルイベントによってすぐに影響を受けます。この場合、静的な嗜好モデリングを使用した推奨は、リアルタイムの関心を理解するには十分ではない可能性があります。動的な好みを把握するには、動的なグラフネットワークを活用することが解決策になる可能性があります。

02 跨域推荐

また、主にインタラクションデータがさまざまな分野で不均衡であるため、クロスドメインレコメンデーションに関する研究もいくつか進んでいます。たとえば、Amazon プラットフォームでは、書籍のサブセットが他のドメインよりも多くなります。転移学習テクノロジーを通じて、比較的豊富なデータを含むソースドメインからのインタラクションデータを共有して、ターゲットドメインでのより適切なレコメンデーションを実現できます。

03 知識を強化した言語表現

さまざまな NLP タスクのパフォーマンスを向上させるために、外部知識を言語表現モデルに統合して、知識表現とテキスト表現を相互に改良する傾向があります。知識拡張テキスト表現戦略をテキストベースの推奨タスクに適用すると、より適切な表現学習が可能になり、より正確な推奨を提供できます。

参考文献
[1] Bollacker K、Evans C、Paritosh P、他 Freebase: 人間の知識を構造化するために共同で作成されたグラフデータベース[C]/ /データ管理に関する 2008 年 ACM SIGMOD 国際会議の議事録。2008: 1247-1250。

[2] Lehmann J、Isele R、Jakob M、他。 Dbpedia – wikipedia[J] から抽出された大規模な多言語知識ベース。 Semantic web、2015、6(2): 167-195.[3] Suchanek F M、Kasneci G、Weikum G. Yago: 意味論的知識の核[C]//Proceedings of the World Wide Webに関する第16回国際会議。 2007: 697-706.

[4] Bordes A、Usunier N、Garcia-Duran A、他。マルチリレーショナルデータをモデル化するためのエンベディングの変換[J]。神経情報処理システムの進歩、2013、26。

[5] Wang Z、Zhang J、Feng J、他。超平面上の翻訳によるナレッジグラフの埋め込み[C]//人工知能に関する AAAI 会議の議事録。 2014、28(1)。

[6] Lin Y、Liu Z、Sun M、他。ナレッジグラフ完成のためのエンティティと関係の埋め込みの学習[C]//人工知能に関する第 29 回 AAAI 会議。 2015年。

[7] Ji G、He S、Xu L、他。ダイナミックマッピングマトリックスによるナレッジグラフの埋め込み[C]//計算言語学協会の第 53 回年次総会および自然言語処理に関する第 7 回国際共同会議の議事録 (第 1 巻: 長編論文)。 2015年：687-696。

[8] Yang B、Yih W、He X、他。学習と推論のためのエンティティと関係を知識ベースに埋め込む[J]。 arXiv プレプリント arXiv:1412.6575、2014。

[9] Zou X. ナレッジグラフの応用に関する調査[C]//Journal of Physics: Conference Series。 IOP出版、2020、1487(1): 012016。

[10] Q. Guo et al.、「ナレッジグラフベースのレコメンダーシステムに関する調査」。 IEEE Transactions on Knowledge and Data Engineering、vol. 34、いいえ。 8、pp. 3549-3568、2022 年 8 月 1 日、doi: 10.1109/TKDE.2020.3028705。

[11] Chicaiza J、Valdiviezo-Diaz P. ナレッジグラフベースのレコメンダーシステムの包括的な調査: テクノロジー、開発、および貢献 [J]。情報、2021、12(6): 232。

[12] Choudhary S、Luthra T、Mittal A、他。ナレッジグラフの埋め込みとその応用に関する調査[J]。 arXiv プレプリント arXiv:2107.07842、2021。

[13] Gao Y、Li Y F、Lin Y 他。レコメンダーシステムのためのナレッジグラフに関する深層学習: 調査[J]。 arXiv プレプリント arXiv:2004.00387、2020。

[14] Wang H、Zhang F、Xie X 他。 DKN: ニュース推奨のための深い知識を認識するネットワーク[C]//2018 年のワールドワイドウェブ会議の議事録。 2018: 1835 ～ 1844 年。

[15] Zhang F、Yuan N J、Lian D、他。レコメンダーシステムのための共同知識ベースの埋め込み[C]//知識発見とデータマイニングに関する第 22 回 ACM SIGKDD 国際会議の議事録。 2016: 353-362。

[16] Wang H、Zhang F、Zhao M、他。ナレッジグラフの強化された推奨事項のためのマルチタスク機能学習[C]//ワールドワイドウェブ会議。 2019: 2000 年から 2010 年。