シリアル化された推奨システムは、ユーザーの閲覧履歴に基づいてユーザーに次のアイテムを動的に推奨することを目的としており、Yelp、TikTok、Amazon などの多くの Web アプリケーションで重要な役割を果たしています。
これらのレコメンデーション システムは、さまざまなニューラル ネットワーク アーキテクチャを使用してユーザーの行動をモデル化し、ユーザーとアイテムの相互作用におけるアイテム間の依存関係を学習します。
これらのモデルは通常、アイテム ID を使用してアイテムを表し、ベクトルをランダムに初期化してさまざまなアイテムを表し、ユーザーとアイテムのインタラクションからの信号を使用してこれらのアイテムのベクトル化表現を最適化します。
図 1: 製品とユーザー間のインタラクションの頻度分布
ただし、アイテム ID ベクトル表現に基づく既存の推奨システムは、通常、人気度の偏りの問題に直面しています。
図 1(a) に示すように、推奨データセット内の製品とユーザー間のインタラクションの頻度はロングテール分布に従います。つまり、少数の製品のみがユーザーと頻繁にインタラクションするため、製品に基づいた推奨モデルが作成されます。通常、ID はコールド スタートの問題に直面しており、多くの製品ではベクトルがトレーニング不足を表しています。図 1(b) に示すように、データ セット内でユーザーが実際に必要とする製品の約 74% は、ユーザーとのやり取りが 20 回未満ですが、製品 ID ベースのモデル (T5-ID) は、それらをユーザーとのやり取りを返すことを選択しました。おすすめ結果にユーザーが表示され、さらに人気のあるアイテムが表示されます。これは、レコメンデーション システムにおける典型的な人気バイアスの問題、つまり、人気のある製品をレコメンデーション結果として返すことを優先する問題につながります。
また、図2(a)に示すように、商品IDベースのレコメンドシステム(T5-ID)で学習した商品ベクトル表現空間は明らかな異方性を示しており、人気商品とそれ以外の商品が異なる領域に分かれてしまいます。対照的に、図 2(b) に示すように、テキスト マッチング ベースのアイテム推奨モデル TASTE は、空間内で人気のあるアイテムとその他のアイテムのベクトルを混合するため、ユーザーのテキスト表現を照合することで、より多くのテキストを推奨システムに返すことができます。関連するがロングテールの製品は、最終的には、シリアル化されたレコメンデーション モデルにおける人気の偏りの問題を軽減します。
図 2: 製品識別子モデルとテキスト マッチング モデルに基づく製品ベクトル空間の視覚化
上記の問題に応えて、ノースイースタン大学、カーネギーメロン大学、清華大学の研究者は、テキストを使用して製品とユーザーを表し、テキストベクトルを照合することでそれらの間の関係を確立する、テキストマッチング（TASTE）に基づくシリアル化レコメンデーション手法を提案しました。表現、関連性を強化し、アイテム ID に基づく推奨モデルの普及率バイアスの問題を軽減します。
CIKM2023に論文掲載
論文リンク: https://www.miner.cn/pub/64ed716d3fda6d7f0658a94f
オープンソースコード: https://github.com/OpenMatch/TASTE
TASTE は、製品を表すプロンプト テンプレートをいくつか設計し、そのテンプレートに製品 ID と製品属性を入力してユーザーと製品を説明します。アイテム情報は、ユーザーとアイテム間の依存関係と相関関係をモデル化するためのテキスト一致の手がかりを提供します。TASTE は、言語モデルの最大長境界制限を破り、ユーザーとアイテムのインタラクションの長いテキスト表現をエンコードするためのアテンション スパース エンコード方法も提案しています。ユーザーとアイテムのインタラクション履歴をさまざまなサブシーケンスに分割し、各サブシーケンスのテキスト表現を個別にエンコードし、アテンションの計算オーバーヘッドを削減します。
テキストマッチング（TASTE）に基づくシリアル化されたレコメンデーションモデル
図 3: テキスト マッチング ベースのシリアル化レコメンデーション モデル (TASTE) フレームワーク
我々は、Text Matching-Based Serialized Recommendation (TASTE) モデルを提案します。図 3 に示すように、最初にユーザー インタラクション履歴とアイテムをテキストで表現する方法を説明し、次にテキスト マッチングを使用してシリアル化された推奨事項をモデル化します。
最後に、TASTE は、ユーザーとアイテムのインタラクションの長いテキスト シーケンスをエンコードするモデルの機能を解放する、注意のスパース化手法を提案します。
1. テキストマッチングに基づくシリアル化されたレコメンデーションモデル
ユーザーとアイテムのインタラクション履歴 H = {v1, v2,..., vt-1} を考慮すると、シリアル化された推奨タスクは、t 番目の瞬間のユーザーのニーズを満たすアイテム Vt を推奨することを目的としています。TASTE は、事前トレーニングされた言語モデル T5 を使用してユーザー インタラクション履歴 H とアイテム v をエンコードし、テキスト ベクトル表現を照合することでユーザーとアイテム間の相関関係をモデル化します。
各アイテム v について、アイテムの ID とその k 個のアイテム属性を使用して、式 1 のテンプレート形式でアイテムをテキスト化します。
式 1: 製品のテキスト表現
k は k 番目の属性に対応する名前、v(id) と v(i) はそれぞれ製品 v の製品識別子と i 番目の属性のテキスト説明です。ここでの v(id) は ID ヒントとみなされ、言語モデルが製品説明の範囲を超えてユーザーと製品の間の一致信号を捕捉するのに役立ちます。
また、テンプレートを使用してユーザー インタラクション履歴 H をテキストで説明します。「ここにユーザーの訪問履歴リストがあります: X (H) 次のアイテムをお勧めします。」これは、シリアル化された推奨タスクの定義を提供し、事前トレーニングされた言語モデルがユーザーの行動をより適切にモデル化するのに役立ちます。X(H) は、テキスト化された製品シーケンス {v1, v2,…,vt-1} のスプライシング結果です。最も近いインタラクティブな製品を保持するために、製品シーケンスの順序を逆にします。
式 2: ユーザー インタラクション履歴のテキスト表現
T5 を使用してユーザー インタラクション履歴 H と製品 v をそれぞれエンコードし、T5 からデコードされた最初の単語セグメンテーション入力の表現をベクトル表現 hH および hv として使用します。
式 3: T5 エンコーディングを通じてユーザー インタラクション履歴と製品のベクトル表現を取得する
エンコードされたベクトル表現 hH および hv に基づいて、ユーザー インタラクション履歴 H とアイテム v の間の相関関係を計算します。
式４：仕分け確率の計算式。ここで、 · はベクトルの内積を表します
式 5 を使用して言語モデル パラメーターを最適化し、時刻 t にユーザーが操作した製品をポジティブ サンプルとして使用し、ネガティブ サンプルは 2 つのネガティブ サンプリング方法 (インバッチ サンプリングとランダム サンプリング) から取得し、対照学習に基づいてモデルをトレーニングします。
式 5: 対照学習法を使用してモデルをトレーニングする
2. 注意の希薄化に基づいたユーザーと製品のインタラクション履歴の長いテキストエンコード
現実の世界では、購入履歴や閲覧履歴には長期にわたるやり取りが含まれることがよくあります。通常、インタラクションが長いほど、より多くのユーザー行動情報が含まれるため、ユーザー行動のより適切なモデリングとより正確な推奨結果が可能になります。Fusion-in-Decoder アーキテクチャを使用して、入力テキストに対する言語モデルの長さの制限を突破し、長いユーザー シーケンスをさらにモデル化します。まず、ユーザー インタラクション履歴テキスト X(H) を n 個のサブシーケンス テキスト X(H) = {X(H1) に分割します。サブシーケンス内の好みは、ユーザーが操作した製品によって表されます。T5 エンコーダを使用して、各ユーザー インタラクション履歴サブシーケンスを個別にエンコードします。
式 6: ユーザー インタラクション履歴のサブシーケンスを独立してエンコードする
最後に、まばらにエンコードされたユーザーとアイテムのインタラクション シーケンス表現をデコーダー モジュールに供給することで、ユーザーとアイテムのインタラクション履歴の最終的なベクトル表現を取得できます。
式 7: 最終的なベクトル表現を取得するためのデコーダでの融合
デコーダは、クロスアテンション メカニズムを使用して、さまざまなユーザー - アイテム インタラクションのサブシーケンスを再重み付けし、テキスト化されたユーザー - アイテム インタラクション履歴内のすべてのアイテムのテキスト説明からテキストの一致信号をキャプチャすることでユーザーの行動を再構築します。
実験結果
表 1: Amazon および Yelp データセットにおけるさまざまなシリアル化レコメンデーション モデルのパフォーマンス
TASTEの推奨性能を表1に示します。全体として、TASTE はすべてのデータセットでベースライン モデルを大幅に上回り、18% のパフォーマンス向上を達成しました。アイテム ID ベクトル モデリングに基づくレコメンデーション モデル (Bert4Rec など) と比較して、TASTE はテキスト マッチング シグナルを使用してユーザーとアイテム間の相関関係をモデル化する利点があり、レコメンデーションのパフォーマンスが大幅に向上しています。TASTE は、最先端のレコメンデーション モデル DIF-SR をも上回るパフォーマンスを発揮します。後者は、アイテム属性を補助情報として使用し、モデルがユーザーとアイテムのインタラクション履歴からユーザーの行動をより適切に学習できるようにします。アイテム属性をベクトルとして表し、アイテム内の補助情報の分離と統合に重点を置いています。DIF-SR と比較して、TASTE は補助情報を統合するための複雑なアーキテクチャを設計していません。代わりに、一般的なプロンプト学習テンプレートを使用して製品とユーザー インタラクション動作を表現し、T5 言語モデルでテキストで事前学習されたアテンション ヘッドを使用してキャプチャします。ユーザーインタラクション履歴とアイテムテキストに関するセマンティック情報。TASTE は、事前トレーニングされた言語モデルをレコメンダー システムに直接適用する利点を実証します。
表 2: アブレーション実験
表 2 に示すように、キュー学習モデリング、さまざまなネガティブ サンプリング戦略、および長いユーザー アイテム インタラクション モデリング アプローチの有効性をさらに調査します。バッチ内ネガティブ サンプル サンプリングに基づく対照学習によってトレーニングされたモデル TASTE (インバッチ) に基づいて、ポピュラー サンプリング、ランダム サンプリング、およびハード ネガティブ サンプリング (ANCE) の実験結果を調査します。人気のアイテムからサンプリングされた追加のネガティブ サンプル TASTE ( Popular Negs) を使用すると、TASTE (Inbatch) のレコメンデーション パフォーマンスがわずかに低下します。その理由としては、頻繁にインタラクションされるアイテムは通常、ユーザーの一般的な興味を表現しており、さまざまなユーザーとインタラクションしやすいことが考えられます。TASTE(ANCE) のパフォーマンスは TASTE(Inbatch) よりも優れていますが、TASTE(Rand Negs) よりは低くなります。この現象は、モデルによって選択された困難なネガティブ サンプルもユーザーによってインタラクションされる可能性が高く、これらは真のネガティブ サンプルではないことを示しています。さらに、私たちのアテンション・スパース手法のおかげで、TASTE のパフォーマンスがさらに向上し、より長いユーザーとアイテムのインタラクション履歴をモデル化することでユーザーの好みをより正確に学習できることが証明されました。
表 3: さまざまな製品モデリング手法におけるモデルの推奨動作
表 3 に示すように、異なる製品モデリング手法を使用した 3 つのモデル、T5-ID、TASTE w/o ID、および TASTE の推奨動作が比較されています。T5-ID は、製品 ID ベクトル表現をランダムに初期化し、製品 ID を直接予測します。TASTE w/o ID と TASTE はどちらもツインタワー アーキテクチャを採用しており、前者は製品属性のみを使用し、後者は製品識別子と属性を使用して製品をエンコードします。
評価結果に示されているように、T5-ID はすべてのデータセットのレコメンド結果で平均 49.5% の人気アイテムを返し、アイテムをレコメンドする際に人気バイアスの問題に直面していることを示しています。TASTE は、推奨結果で人気のアイテムを平均 18.75% 削減しました。テキストを使用してアイテムを表し、テキスト マッチングを利用して人気のあるアイテムに対する T5-ID のレコメンデーション動作を調整します。TASTE はより高い Bleu スコアと Recall スコアを達成し、より適切でテキスト的に関連性の高いアイテムを推奨する有効性を証明しました。
さらに、TASTE は、ID なしの TASTE と比較して、アイテム ID を利用することで、より高い Bleu スコアと Dist スコアを達成しました。これは、アイテム ID がアイテム属性を超えた追加の一致シグナルを提供するヒントとして機能し、ユーザーとアイテム間の相関関係をより適切にモデル化できることを示唆しています。
図4: ユーザーインタラクション頻度の異なる製品の推奨効果
図 4 に示すように、実験では、さまざまなユーザー インタラクション頻度の下で製品推奨効果を比較しました。当社では、ユーザーのインタラクション頻度に基づいて、ロングテール製品とその他の製品を含む 2 つのグループに製品を分類します (比率 2:8)。TASTE は、これらのロングテール アイテムに関して T5-ID よりも優れた推奨精度を示しており、これは、アイテムの識別子と属性を使用してアイテムのベクトル表現を学習することにより、推奨システムの「コールド スタート」を効果的に軽減できることを示しています。また、TASTE が、事前トレーニングされた言語モデルによって学習された言語知識をこれらのロングテール製品の表現に拡張し、テキスト マッチングを通じてユーザー製品の関連性を直接モデル化できることも示しています。
要約する
我々は、テキストを使用してユーザーインタラクション履歴とアイテムを表現し、テキストマッチングシグナルをキャプチャしてそれらの間の相関関係をモデル化する、テキストマッチングベースのシリアル化レコメンデーション（TASTE）モデルを提案します。
TASTE は、広く使用されているシリアル化されたレコメンデーション データセットで最先端のデータセットを実現します。以前のアイテム ID ベースの方法よりも優れたパフォーマンスを発揮し、人気バイアスの問題を軽減し、アイテム ID と属性を使用してロングテール アイテムをより適切に表現します。
TASTE が長期のユーザーとアイテムのインタラクション履歴に基づいてユーザーの行動をより適切にモデル化し、ユーザーのニーズを満たすためにより多くのテキスト関連の多様なアイテムを返すことができることは注目に値します。