#論文を読む# [シーケンス推薦] グラフニューラルネットワークによるセッションベースの推薦

#論文題名: [Sequence Recommendation] SR-GNN: Session-based Recommendation with Graph Neural Networks (SR-GNN: Session-based Graph Neural Network Recommendation) #論文アドレス: https://arxiv.org/abs/1811.00855
#
論文ソース コード オープン ソース アドレス: https://github.com/CRIPAC-DIG/SR-GNN
#論文の会議: AAAI 2019
#論文の単位: 中国科学院

1.はじめに

SR-GNN は、中国科学院によって提案されたセッション シーケンス モデリングに基づくレコメンデーション システムです. ここでいうセッションとは、ユーザーのやり取りを指します (各セッションはユーザーの行動と対応するサービスを表すため、各ユーザー レコードは次のように構築されます)。図)、ここで言及されているセッション シーケンスは、過去のある期間のユーザーのインタラクション シーケンスを具体的に表す必要があります。セッションベースの推奨は、一般的に使用される推奨方法であり、一般的に使用されるセッションの推奨には、再帰型ニューラル ネットワークとマルコフ連鎖が含まれます。ただし、これらの一般的に使用されるセッションの推奨方法には、次の 2 つの欠点があります。

• セッション内のユーザー アクションの数が非常に限られている場合 (つまり、比較的少ない場合)、このメソッドでユーザーの動作表現をキャプチャすることは困難です。たとえば、会話型レコメンデーション モデリングに RNN ニューラル ネットワークを使用する場合、前のシーケンスのアクション アイテムが少ない場合、最後の出力がレコメンデーション アイテムを生成するときに、レコメンデーションの結果はあまり正確ではありません。
• 以前の作業によると、以前のアイテムの転送モードはセッションの推奨において非常に重要な機能ですが、RNN とマルコフ プロセスは、セッション内の他のアイテムを無視しながら、2 つの隣接するアイテムの単一のアイテム転送ベクトルのみをモデル化します。[RNN 法は全体像を欠き、単一項目の伝達ベクトルしか構築せず、情報を表現する能力が十分でないことを意味します]

まず, 論文を解釈するとき, シーケンスリコールの入力と出力が何であるかを理解する必要があります. 一般的に言えば, シーケンスリコールの入力はユーザーの行動シーケンス (ユーザーが操作したアイテム ID のリスト) です.予測する必要があるのは、ユーザーの次の瞬間です. クリックされた上位k項目. 実際の操作プロセスでは、通常、ユーザーの行動シーケンスをユーザーの特性ベクトルに抽出し、次にいくつかの ANN メソッドを使用してアイテムのベクトルをすばやく取得し、ユーザーの特性ベクトルに最も類似したトップを除外します -kアイテム。以下に紹介する SR-GNN は、上記の 2 つのプロセスを完了します。

1.1 モデル構造

ここでは、次のように、入力ユーザーの行動シーケンスからユーザーのベクトル表現を抽出していることがわかります。

• 1. ユーザーの一連の行動をセッション グラフに構築する
• 2. GNN を使用して、取得したセッション グラフの特徴を抽出し、各アイテムのベクトル表現を取得します。
• 3. GNN がセッション グラフを抽出した後、ユーザーのベクトル表現を取得するために、すべてのアイテムのベクトル表現を融合する必要があります. ユーザーのベクトル表現を取得した後、次の考え方に従ってモデルをトレーニングできます
  。シーケンスリコール / モデルが検証されたので、これらの 3 つのポイントがどのように展開するかについて説明しましょう

1.2 セッション グラフの作成

ここではまず利用者の行動系列に従ってグラフを構成する必要があります. ここでは各利用者の行動系列ごとにグラフを構成する必要があります. 構成方法も非常に簡単です. ここでは有向グラフとみなします. v 2 の場合$v_{}$そして$v_{}$ユーザーの行動シーケンスで隣接し、$v_{}$v 1 v_1で$v_{}$その後、$v_{}$v1 v_1へ$v_{}$このルールに従って、グラフを作成できます。（以下は論文に掲載されているサンプル画像です）

ここで各ユーザーの行動がグラフにパッケージ化されている理由は、ユーザーと製品のやり取りをすべてグラフに配置すると、ユーザー固有の関心を捉える際に混乱を招くため、個別に構築して構築する必要があるためです。この方法の利点は、その後のトレーニング中に、サンプルの各行をグラフに構築できることです。これは非常に便利です。

構成が完了したら、変数を使用してこの画像を保存する必要があります。ここでは、${あ}_{}$合成の結果を表すために、この行列は a $(d、2d)$、これは a$(d、d)$外出行列と a$(d、d)$ Outing 行列の Incoming 行列については、ノードから外側に伸びるエッジの数を直接カウントします.ノードから外側に伸びるノードの数が 1 より大きい場合は、正規化操作を実行します (たとえば、ノード v 2$v_{}$拡張 2 ノード$v_{}、v_{}$、次にノード$v_{}$ノードへ$v_{}、v_{}$値はすべて 0.5 です)。入ってくる行列は同じ

1.3 GNN による Item のベクトル表現の学習

この部分では主に、アイテムのベクトル表現をグラフから学習する方法に焦点を当てます。ここでは、$v_{私}^{}$t 回目の GNN 反復後のアイテム i のベクトル表現を表します。${あ}_{s,}\epsilon R^{1\times 2n\; は}$A s A_{s}を意味します${あ}_{}$マトリックスの$行i\; は$iiを表します$アイテムi$に関連する近隣情報次に、式 (1) を使用して、主に行列${あ}_{s,}$およびユーザーシーケンス$[v_1^{t-}、...,v_n^{t-}{]}^T\epsilon R^{n\times d}$の掛け算は集計されますが、ここでの式は厳密には書かれていないことに注意してください. 実際には、2 つの$R^{1\times 2n}とR{}^{\_}{}^{n\times d}$行列は直接乗算することはできません. コードの実装では、行列 A を in と out の 2 つの行列に分割し、ユーザーの行動シーケンスと乗算します。

$$a_{s、私}^{}={あ}_{s,}[v_1^{t-}、...,v_n^{t-}{]}^T\text{H}+b\text{\hspace{1em}( 1 )}$$

'''
A : [batch,n,2n] 图的矩阵
hidden : [batch,n,d] 用户序列的emb
in矩阵：A[:, :, :A.size(1)]
out矩阵：A[:, :, A.size(1):2 * A.size(1)]
inputs : 就是公式1中的 a 
'''
input_in = paddle.matmul(A[:, :, :A.shape[1]], self.linear_edge_in(hidden)) + self.b_iah
input_out = paddle.matmul(A[:, :, A.shape[1]:], self.linear_edge_out(hidden)) + self.b_ioh
# [batch_size, max_session_len, embedding_size * 2]
inputs = paddle.concat([input_in, input_out], 2)

式 (1) の as を取得すると$a_{s、私}^{}$その後、2 つの中間変数zs 、 it 、 rs 、 it z_{s,i}^{t},r_{s,i}^{t} が式 (2)( 3) に従って計算されます。${ぜ}_{s、私}^{}、r_{s、私}^{}$zs 、 it 、 rs 、 it z_{s,i}^{t},r_{s,i}^{t} と考えて、 LSTM と簡単に比較できます。${ぜ}_{s、私}^{}、r_{s、私}^{}$それらは忘却ゲートと更新ゲートです

$${ぜ}_{s、私}^{}=s(W_{}{a}_{s、私}^{}+{う}_{}{v}_{私}^{t-})\epsilon R^d\text{\hspace{1em}( 2 )}$$

$$r_{s、私}^{}=s(W_{}{a}_{s、私}^{}+{う}_{}{v}_{私}^{t-})\epsilon R^d\text{\hspace{1em}( 3 )}$$

ここで、 zs 、 it 、 rs 、 it z_{s,i}^{t},r_{s,i}^{t} を計算していることに注意してください。${ぜ}_{s、私}^{}、r_{s、私}^{}$ロジックはまったく同じで、パラメータの重みが異なるだけで、
式 (2) (3) の中間変数を取得した後、次の更新ゲートの更新の特性を式 (4) によって計算します。そして式（5）に従って最終結果を得る

$${v_{私}^{}}^{～}=英語(W\_{}_{}{a}_{s、私}^{}+{う}_{}(r_{s、私}^{}\odot v_{私}^{t-})))\epsilon R^d\text{\hspace{1em}( 4 )}$$

$$v_{私}^{}=(1-{ぜ}_{s、私}^{})\odot v_{私}^{t-}+{ぜ}_{s、私}^{}\odot {v_{私}^{}}^{～}\epsilon R^d\text{\hspace{1em}( 5 )}$$

ここで、式 (4) が実際に t 番目の GNN レイヤーの Update 部分、つまり${v_{私}^{}}^{\sim }$、式 (5) の忘却ゲート zs を渡すと${ぜ}_{s、私}^{}$t 番目の GNN 更新を制御するには、$v_{私}^{t-}$${v_{i} ^{t}} {\sim} $の割合。これで GNN 部分のアイテムの表現学習は完了です

ここでコードを書くとき、式 (3)(4)(5) に注意を払う必要があります。注意深く観察します。 for as $a_{s、私}^{}、v_{私}^{t-}$この 2 つの変数に関する限り、各変数は 3 つの行列で乗算されます. ここでの計算ロジックは同じであるため、$の、Uv$は計算単位と見なされます.式 (3)(4)(5) では、そのような操作が 1 つ含まれているため、これら 3 つの操作をまとめて、結果を 3 つの部分に分割できます.3 つの式を元に戻すと、関連するコードは次のとおりです

'''
inputs : 公式(1)中的a
hidden : 用户序列，也就是v^{t-1}
这里的gi就是Wa，gh就是Uv，但是要注意这里不该是gi还是gh都包含了公式3~5的三个部分
'''

# gi.size equals to gh.size, shape of [batch_size, max_session_len, embedding_size * 3]

gi = paddle.matmul(inputs, self.w_ih) + self.b_ih
gh = paddle.matmul(hidden, self.w_hh) + self.b_hh
# (batch_size, max_session_len, embedding_size)
i_r, i_i, i_n = gi.chunk(3, 2)   # 三个W*a
h_r, h_i, h_n = gh.chunk(3, 2)   # 三个U*v
reset_gate = F.sigmoid(i_r + h_r)  #公式(2)
input_gate = F.sigmoid(i_i + h_i)  #公式(3)
new_gate = paddle.tanh(i_n + reset_gate * h_n)  #公式(4)
hy = (1 - input_gate) * hidden + input_gate * new_gate  # 公式(5)

1.4 ユーザーベクトル表現の生成 (セッション埋め込みの生成)

GNN を介してアイテムの埋め込み表現を取得した後、作業の半分以上が完了し、残りは、ユーザー シーケンスの複数のアイテムの埋め込み表現を埋め込み表現のシーケンス全体に融合することです。

ここで、SR-GNN は最初に Attention メカニズムを使用して、シーケンスvn ( s 1 ) v_{n}(s_1)の最後のアイテムのシーケンス内の各アイテムを取得します。$v_{}\left(s_{}\right)$の注意力を計算し、加重して合計すると、具体的な計算プロセスは次のようになります。

$$\begin{gathered} a_{}={\text{q}}^T\sigma (W_{}{v}_{}+W_{}{v}_{}+c)\epsilon R^1 \\ {s}_{}=\sum _{私は=1}{a}_{}{v}_{}\epsilon R^d\text{\hspace{1em}( 6 )} \end{gathered}$$

get $s_{}$その後、$s_{}$シーケンス内の最後のアイテム情報と組み合わせて、最終シーケンスの埋め込み表現を取得します

$$s_{}=W_{}[{秒}_{};s_{}]\epsilon R^d\text{\hspace{1em}( 7 )}$$

'''
seq_hidden : 序列中每一个item的emb
ht ： 序列中最后一个item的emb，就是公式6~7中的v_n(s_1)
q1 : 公式(6)中的 W_1 v_n
q2 : 公式(6)中的 W_2 v_i 
alpha : 公式(6)中的alpha
a : 公式(6)中的s_g
'''
seq_hidden = paddle.take_along_axis(hidden,alias_inputs,1)
# fetch the last hidden state of last timestamp
item_seq_len = paddle.sum(mask,axis=1)
ht = self.gather_indexes(seq_hidden, item_seq_len - 1)
q1 = self.linear_one(ht).reshape([ht.shape[0], 1, ht.shape[1]])
q2 = self.linear_two(seq_hidden)

alpha = self.linear_three(F.sigmoid(q1 + q2))
a = paddle.sum(alpha * seq_hidden * mask.reshape([mask.shape[0], -1, 1]), 1)
user_emb = self.linear_transform(paddle.concat([a, ht], axis=1))

ここまでで、SR-GNN のユーザー ベクター生成が完了しました。あとは、従来の順次呼び出し方式に従って実行できます。

参考：https://aistudio.baidu.com/aistudio/projectdetail/5313491