GRU4Rec 学習メモ (現行ニューラルネットワークを使用したセッションベースの推奨事項)

最初の段落: 主に機械学習とレコメンデーション (セッション推奨) の分野で無視されている問題について説明し、Cookie やブラウザーのフィンガープリントなどの既存のセッションの欠点を提案します。これらのテクノロジーは信頼性が低く、電子商取引の展開はほとんどが単純な方法です。 . ユーザーデータを使用せず、アイテム間の類似性、共起関係、または変換確率を通じて、通常、最後のクリックまたは選択のみが考慮され、過去のクリックに関する情報は無視されます。

レコメンドシステムや情報検索の分野では、「「共起関係」とは、ユーザー行動における 2 つ以上の項目 (または項目) 同時発生の頻度または確率。ユーザーがある行動でアイテム A を選択し、別の行動でアイテム B を選択した場合、ユーザーの行動においてアイテム A とアイテム B は共起関係にあると言います。この関係は使えますアイテム間の類似性または関連性を推測します。

レコメンドシステムや情報検索の分野では、「コンバージョン確率」（次のアイテムに切り替わる確率）通常、ユーザーがある時点でアイテムを選択し、その後切り替えることを指します。次の項目へ. ある時点で別の項目を選択する確率。この確率はユーザーの異なるアイテム間を切り替える傾向または傾向。

2 番目の段落: 主に 2 つの方法を紹介します。因子モデル (因子モデル) および近傍法 (近傍法)、前者は疎行列を分解して再構築します。セッションの推奨事項に個人情報が不足しているため、適用するのはより困難です。後者はアイテムまたはユーザー間の類似性を計算します。この種の会話の推奨事項が得られます。広く使用されています。

3 番目の段落: 近年の画像および音声認識におけるディープニューラルネットワークの成功について言えば、さまざまな RNN がシーケンシャルモデリングの最初の選択肢となっています。シーケンスモデルには、テキスト翻訳、対話モデリング、画像記述が含まれます。あれは他のアプリケーションにおける RNN の成功

パラグラフ 4: レコメンデーションシステムにおける RNN の適用の問題点と方法について議論し、著者はセッションベースのレコメンデーションを提案し、説明しました。スパースシーケンスの処理の問題、およびランキング損失関数を導入して、RNN モデルを調整します。RNN の最初の入力は、ユーザーが最初の項目を初めてクリックしたときです。連続クリックするたびに、すべてのクリック出力、追加のクリックシーケンスデータは非常に大きく、トレーニング時間とスケーラビリティにとって非常に重要です。

3. 推奨される RNN/GRU

RNN: ht はタイムステップでの隠れ状態、g は滑らかな有界活性化関数 (シグモイド)、W は隠れ層の重み行列、xt は時間 t でのユニットの入力、U は前のタイムステップ現在までの時間ステップの重み。

ドアを更新する

リセットゲート

隠れ層の候補

隠れ層

出力

4. カスタマイズされた GRU モデル

モデルの入力は現在のセッションのステータスであり、出力はセッション内の次のイベントの項目です。入力ベクトルは安定性のために正規化され、埋め込み層が入力と GRU の最初の層の間に追加されます出力間にフィードフォワード層が追加されます (フィードフォワード層は全結合層または密層とも呼ばれます)。なぜならレコメンデーションシステムはリカレントニューラルネットワークの主な応用分野ではないため、タスクによりよく適応するように基本ネットワークが変更されます。

1-of-N コーディングはワンホットコーディングです

5. この記事のハイライト

1、セッション並列ミニバッチ

セッションはミニバッチで並列化され、処理の長さは 2 つの戦略 (1) 長さ順に並べ替えるので、パディングが比較的少なくなります (2) 明らかに、長いものは切り詰められるかクリップされます。どちらの戦略も適切ではありません。推奨システムでは長いシーケンスと短いシーケンスが大きく異なるため、著者は次のようにセッション並列処理の概念を提案しています。図では 3 つの並列に分割されており、並列でシーケンスが終了した場合は、パディングせずに新しいシーケンスが追加されます。

2、マイナス側

著者はまず、なぜネガティブサンプリングが必要なのかについて述べましたが、まず第一に推薦制度のためです。データ量が大きすぎます。中規模のオンラインストアの場合、商品数は数万に達する可能性がありますが、大規模なオンラインストアの場合は、アイテム数が数万になることがあります。場合によっては数十万、さらには数百万になることもあるため、出力はサンプリングされ、一部のみが計算されます。

著者は、人気のアイテム。おそらくユーザーはそれらを知っています。しかしユーザーは選択しませんでした。ユーザーが気に入らない可能性が比較的高いことを意味します。ネガティブサンプリングとして、高速なネガティブサンプリング方法でもあります。ポップベースのサンプリングは解釈しやすく、計算も高速になります。

3、順位負け

著者は、損失をランク付けする 3 つの方法 (ポイントワイズ、ペアワイズ、リストワイズ) について簡単に説明し、利点と欠点を分析します。

Pointwise は独立した推定 (直感的) ですが、関連アイテムのランキングが低くなり、不安定になります。

ペアワイズでは、陽性サンプルと陰性サンプルのスコアを比較し、陽性サンプルが陰性サンプルよりも低くランク付けされる必要があります。実験< i=2>。

すべての項目でListwiseが使用されますが、計算コストが高すぎるため、一般的には使用されません。

BPR損失

TOP1敗退

著者が設計したものですが、BPRと比較すると、損失が遅れています負のサンプルスコアが可能な限り小さくなるように、負のサンプルの正則化項を追加しました。

6. 実験

1. データセット

RecSys Challenge 2015 (RSC15) の内容購入イベントで終了する e コマースウェブサイトのクリックストリームデータ。

ビデオ: YouTube 風の OTT 動画サービスプラットフォームは、一定期間の動画視聴イベントを収集します。

OTT は「Over-The-Top」の略語で、従来のケーブルまたは衛星 TV 事業者を介して配信せずに、インターネット経由でオーディオ、ビデオ、その他のメディアコンテンツを送信するサービスを指します。

2. 評価指標

リコール@20およびMRR@20

平均逆数ランク: MRR の値の範囲は次のとおりです。 0 と 1 の間では、1 に近づくほどシステムのパフォーマンスが向上します。、MRR は次のことに重点を置いています。最初の正しい結果の位置、その後のランキングに関係なく。

計算式：

3. ベースラインを比較する

ポップ：

POP戦略はユーザーの個人的な興味を考慮するのではなく、トレーニング全体に基づいた項目に焦点を当てます。世界的な人気では、常に大多数のユーザーが選択したアイテムを推奨します。新規ユーザーのコールドスタートの問題はある程度解決できます。

S-POP：

セッションベースの POP です。現在のセッションで人気のあるアイテムをキャプチャし、ユーザーの短期的な興味にさらに応えます。

項目 KNN

BPR-MF

4. パラメータと構造の最適化

パラメータ調整のために、オプティマイザの作成者は 2 つの最適化アルゴリズム、rmsprop と adagrad を使用し、次のことを発見しました。 adagrad アルゴリズムのパフォーマンスは優れていますが、GRU ほど優れていない LSTM と RNN も使用しています。理論上の損失関数 TOP1 が最も効果的であることが証明されています。、one-Hot エンコーディングを使用する方が優れており、単層 GRU ユニットを使用するのが最も効果があり、GRU の幅を増やすと有益です。

5. 結果

VIDEO1000 ではクロスエントロピー損失が不安定であるため、著者は結果を示していません。相互エントロピーの損失は減少しています。ペアは改善しています。

6. まとめ

著者は GRU を新しい分野である推奨システムに適用し、基本的な GRU にいくつかの改良を加えました。セッション並列ミニバッチ、ミニバッチベースの出力サンプリングおよびランキング損失関数は、一般的に使用されるベースラインを上回るパフォーマンスを発揮します。