一、基本信息
论文题目：《Augmented Variational Autoencoders for Collaborative Filtering with Auxiliary Information》
发表时间：CIKM 2017
作者及单位：
论文地址：https://dl.acm.org/citation.cfm?id=3132972
二、摘要
本文提出了协同过滤处理辅助信息的变分方法。所提出的方法包括变分自动编码器，通过增加结构来建立辅助信息模型和隐式用户反馈模型。这种增强包括梯形网络和生成对抗网络，以提取辅助信息引入的低维表示。这两个增强是在变分自动编码器领域的首次尝试，我们证明了它们在协同过滤应用中的显著改进。
三、主要内容与工作
1、This paper presents a new set of model-based CFs with deep generative modeling (DGM), which we call a set of VAE-CFs that are varied through the dependency structures in modeling the information from users and items. These CFs are the first variants of variational autoencoders (VAE) [16, 31] to learn the complex representation of sparse implicit feedback and auxiliary information. VAE is known to discover a richer representation, and we statistically confirmed that this richer representation significantly improves the performance on the task of CF with auxiliary information. Throughout the various designs of VAE for CF, we overcame two technical challenges: handling sparse information and auxiliary information from users and items.
在大多数情况下，由于用户响应有限以及用户和项目的大量组合，CF总是面对稀疏的信息。因此一个将VAE集成到CF的简单的方法是用来克服过度拟合或陷入不良的局部最优。特别是，当我们处理隐式反馈数据时，这个问题变得更加严重。在隐式反馈数据集中，缺少的条目，即用户和项目之间的非交互，并不一定意味着项目与用户无关。我们通过采用隐式反应模型[9，27]克服了这些障碍，这使我们为VAE-CF的各种结构提出了另一个学习目标。具体来说，我们在VAE公式中采用了负样本抽样[27]。
此外，如果CF算法使用用户或项目相关信息（即辅助信息），则CF可能需要对不同类型的数据进行建模。当一个数据是响应矩阵时，另一个数据可以是多样的，即文本、图像和网络。为了从不同类型的数据中对这些多种模式进行建模，在VAE文献中介绍了几种方法：1）在给定另一种模式的情况下对条件分布进行建模的条件VAE（cvae）；2）通过单一模式模拟不同模式的联合分布的联合多模式VAE（jmvae）。在这些研究的启发下，我们提出了两种相应类型的基于VAE的CF模型：CVAE-CF和JVAE-CF。除了上述结构变化外，我们还探索了引入最新的学习方法，以对抗性正规化（VAE-AR）的VAE-CF:VAE和条件阶梯结构（CLVAE）的VAE。具体地说，前者利用了生成性对抗网络（gan）的思想[6]，后者利用了梯形VAE的阶梯结构识别模型[36]。
本文的贡献主要有以下几点：
•我们采用负样本抽样来处理VAE框架中的隐式反馈，并表明我们提出的模型（VAE-CF及其变体）优于以前的CF模型。
•我们开发了基于VAE-CF的新架构来建模辅助信息，并确认了适当结构和改进学习的重要性。
•我们表明，诸如VAE和GAN等DGM可以通过辅助信息成功地应用于CF。据我们所知，这是第一个将GAN式学习的VAE和阶梯式结构的条件VAE应用于带辅助信息的CF任务的案例。
2、我们的模型是对CF的VAE的扩展，而不是将VAE和MF合并为[1]。普通的自动编码器接收来自单个类型数据的输入，我们真正的贡献在于在执行自动编码时，将此单个类型扩展为多个类型数据。我们的模型有两种与用户响应和辅助信息相对应的数据模式，因此模型可以作为推荐模型。以前的VAE模型[15、28、35、38]也提出了处理多种模式的模型，但是自动编码被合并为一个潜在变量，而我们的模型有两个潜在变量，这使得我们的表示更加丰富。此外，对于附加潜在变量，我们提出了两种概率因果关系的替代方式：一种联合模式和一种附加潜在变量的条件模型。在介绍了条件变量和联合变量的基本扩展后，我们探讨了通过梯形网络和GAN将附加信息合并，这是一种更先进的辅助信息建模方法。
3、文中随后提出了五个模型
- VAE-CF: modeling a distribution of users’ responses alone
- VAE-CF: modeling a conditional distribution of users’ responses given auxiliary information
- JVAE-CF: modeling a joint distribution of users’ responses and auxiliary information
- VAE-AR: modeling two independent distributions of users’ responses and auxiliary information, and applying GAN structure to merge the models
- CLVAE: modeling a conditional distribution of users’ re-sponses given auxiliary information model with the ladder structure
4、
四、总结
本文介绍了VAE-CF及其变种体系结构，为利用辅助信息处理CF提供了一个通用的框架。我们证实，所提出的模型比现有的两个基准数据集的模型表现出更好的性能。我们将负样本抽样方法应用于VAE，作为处理隐式反馈的一种方法。此外，我们还提出了不同的VAE架构来处理CF中的辅助信息。所提出的架构包括各种模型，从模型的依赖结构的变化到GaN式学习结构和阶梯结构的增强。
本文从两个方面论证了利用辅助信息增强CF中的建模：1）PGM中依赖结构的变化；2）采用先进的学习机制。cvae-cf和jvae-cf属于前者，clvae和vae-ar属于前者。所提出的模型反映了多模态背景下不同的建模视角。我们的方法可以作为一个例子，说明pgm是如何有效地将建模者的视角融入到模型中的，它可以通过一个CF的例子应用到现有的深度学习模型中。它还表明了gan风格的学习可以应用于图像处理之外的CF领域。