【论文笔记KDD2021】MixGCF: An Improved Training Method for Graph Neural Network-based Recommender Systems

学习总结

论文简介

论文题目：MixGCF: An Improved Training Method for Graph Neural Network-based Recommender Systems
论文链接：http://keg.cs.tsinghua.edu.cn/jietang/publications/KDD21-Huang-et-al-MixGCF.pdf
论文代码：https://github.com/huangtinglin/MixGCF
论文作者：Tinglin Huang，唐杰老师等人

一、Introduction

GNN被广泛应用于embedding的生成场景，对user和item分别进行embedding化，使用双塔模型；类似像Graphsage、PinSage、LightGCN等算法也有被应用在工业界的推荐系统上，但是GNN的负采样技术还有待研究，过去大多数算法是从真实的数据中选取负样本，而忽略了embedding的信息，而MixGCF是经过数据增强、聚合的方法获取负样本及其表示。NGCF和LightGCN在使用MixGCF后，在NDCG指标上分别提高了26%和22%。

1.1 聚合 Aggregation

聚合获得邻居节点信息，以LightGCN的聚合过程为栗子：$${\mathbf{e}}_u^{(l+1)}=\sum _{i\in N_u}\frac{1}{\sqrt{\left|N_u\right|\left|N_i\right|}}{\mathbf{e}}_i^{(l)},{\mathbf{e}}_v^{(l+1)}=\sum _{j\in N_v}\frac{1}{\sqrt{\left|N_v\Vert N_j\right|}}{\mathbf{e}}_j^{(l)}$$

1.2 池化 Pooling

池化过程，以LightGCN为栗的池化如下，将每一层的嵌入加权求和：$${\mathbf{e}}_u^{\ast }=\sum _{l=0}^L{\lambda }_l{\mathbf{e}}_u^{(l)},{\mathbf{e}}_v^{\ast }=\sum _{l=0}^L{\lambda }_l{\mathbf{e}}_v^{(l)}$$
而NGCF是对多层的结果做拼接操作：$${\mathbf{e}}_u^{\ast }={\mathbf{e}}_u^{(0)}\Vert \cdots \Vert {\mathbf{e}}_u^{(L)},{\mathbf{e}}_v^{\ast }={\mathbf{e}}_v^{(0)}\Vert \cdots \Vert {\mathbf{e}}_v^{(L)}$$

1.3 负采样优化

一般LTR任务的损失函数常用BPR loss，最大化正负样本之间的评分差，在不断优化的过程中差值越大：$$\max \prod _{v^{+},v^{-}\sim f_S(u)}{P}_u\left(v^{+}>v^{-}\mid \Theta \right)$$
其中参数：

• $v^{+}$和$v^{}-$分别表示positive items和negative items
• $P_u(a>b)$表示用户u，相比于item b来说，更加偏爱于item a
• $f_S(u)$是negative sampling的分布，很多推荐算法（如LightGCN、NCF、BPR、NGCF等算法）都是将negative sample服从于uniform均匀分布（$f_S(u)=f_{\text{uniform }}(u)$）

1.4 负采样问题

• 负采样一般使用uniform distribution，为了改进GNN的负采样：
  • PinSage根据PageRank的得分进行负采样；
  • MCN考虑正负样本之间的结构相关性，重新设计了正负样本的分布；
  • 但是这些算法只是主要在discrete graph space中负采样，而忽略了GNN在embedding空间中独特的邻居聚合过程。
• MixGCF受数据增强和metric learning的思想而提出，进行hard负样本的生成。

一般我们在数据集中，所有交互过的行为统一视为正样本，没有发生过交互的物品（往往很多）可以采样出一部分作为负样本，和正样本相似的负样本称为hard负样本。研究认为采样出难负样本会对模型帮助更大，因为模型能更好的学习到正负样本的边界。

二、MixGCF算法

扫描二维码关注公众号，回复： 14439800 查看本文章

2.1 positive mixing

positive mixing，混合来自不同局部图的信息成负样本：$${\mathbf{e}}_{v_m}^{\prime (l)}={\alpha }^{(l)}{\mathbf{e}}_{v^{+}}^{(l)}+\left(1-{\alpha }^{(l)}\right){\mathbf{e}}_{v_m}^{(l)},{\alpha }^{(l)}\in (0,1)$$
其中：

• ${\alpha }^{(l)}$是每一个hop的均匀采样的mixing因子；
• mixup的mixing因子是从beta分布$\mathrm{Beta}(\beta ,\beta )$中采样而来的，对模型的泛化能力有很大影响；
• 为了缓解上面提到的这个影响，positive mixing中的mixing因子${\alpha }^{(l)}$统一从(0, 1)中进行采样；
• ${\mathcal{E}}^{\prime }$是候选negatives M增强后的embedding集合（远小于总items）。

positive mixing增强negatives通过以下两种方式：

• 把positive information加入到negative samples，这样有助于让模型专注于决策边界。
• mixing因子引入随机不确定性。

2.2 Hop Mixing

在positive mixing得到的新负样本中，对每一层随机选择一个负样本，再通过pool操作得到新负样本：$${\mathbf{e}}_{v^{-}}=f_{\text{pool }}\left({\mathbf{e}}_{v_x}^{\prime (0)},\cdots ,{\mathbf{e}}_{v_y}^{\prime (L)}\right)$$
其中具体方法：$${\mathbf{e}}_{v_x}^{\prime (l)}=\underset{{\mathbf{e}}^{\prime }{}_{v_m}^{(l)}\in {\mathcal{E}}^{(l)}}{\mathrm{argmax}}{f}_{\mathrm{Q}}(u,l)\cdot {\mathbf{e}}_{v_m}^{\prime (l)}$$
刚才的pool在GNN模型中常用的两种有：

• Sum-based pooling: ${\mathbf{e}}_u\cdot {\mathbf{e}}_{v^{-}}={\sum }_{l=0}^L{\lambda }_l{\mathbf{e}}_u\cdot {\mathbf{e}}_{v^{-}}^{(l)}$
• Concat-based pooling: ${\mathbf{e}}_u\cdot {\mathbf{e}}_{v^{-}}={\sum }_{l=0}^L{\mathbf{e}}_u^{(l)}\cdot {\mathbf{e}}_{v^{-}}^{(l)}$.

2.3 optimization with MixGCF

$${\mathcal{L}}_{\mathrm{BPR}}=\sum _{\begin{array}{c}\left(u,v^{+}\right)\in O^{+}\\ {\mathbf{e}}_{v^{-}}\sim f_{\mathrm{MixGCF}}\left(u,v^{+}\right)\end{array}}\ln \sigma \left({\mathbf{e}}_u\cdot {\mathbf{e}}_{v^{-}}-{\mathbf{e}}_u\cdot {\mathbf{e}}_{v^{+}}\right)$$

2.4 关于MixGCF的相关讨论

• 通用插件：即插即用
• 数据增强：可以看作增强，因为负样本是基于现有实例生成的
• 多个负样本近似：度量学习中指出在每次更新的损失函数中使用多个负实例，可以加快底层模型的收敛速度，并提供更好的性能；MixGCF通过hop-mixing提供多个负样本的近似

三、实验环节

3.1 experimental settings

• 数据集：Alibaba, Yelp2018 和 Amazon
• 评估指标：Recall 和 NDCG
• Recommender：LightGCN、NGCF、PinSage
• 负采样的Baselines：RNS、DNS、IRGAN、AdvIR、MCNS
• 超参数设置

3.2 Performance comparison

四、相关工作

4.1 基于GNN的推荐算法

• PinSage、GC-MC、NGCF、LightGCN
• 利用side info：社交网络、知识图谱 …

4.2 推荐系统中的负采样

• Static Sampler 从一个固定的分布中进行负采样
  • 均匀分布、流行度 指数 3/4
• GAN-based Sampler 基于生成对抗网络进行负采样
  • IRGAN、KBGAN、AdvIR
• Hard Negative Sampler 为当前的用户自适应地选择 hardest 负样本
  • DNS
• Graph-based Sampler 根据图信息进行负采样
  • MCNS、KGPolicy、PinSage（基于Personalized PageRank）

Reference

[1] http://keg.cs.tsinghua.edu.cn/jietang/publications/KDD21-Huang-et-al-MixGCF.pdf
[2] https://huangtinglin.github.io/experience/
[3] 贝叶斯个性化排序算法BPR
[4] 上百篇论文概览『负采样方法』的前世今生