一、基本信息
论文题目：《Variational Autoencoders for Collaborative Filtering》
发表时间：WWW2018
作者及单位：
二、摘要
我们将变分自编码扩展到隐式反馈的协同过滤。这种非线性概率模型使我们能够超越线性因素模型的有限建模能力，而线性因素模型在很大程度上仍然主导着协同过滤研究。引入一个具有多项式似然性的生成模型，并利用贝叶斯推理进行参数估计。尽管在语言建模和经济学中得到了广泛的应用，但在推荐系统文献中，多项式的可能性却很少受到关注。我们为学习目标引入了一个不同的正则化参数，这对实现竞争绩效至关重要。值得注意的是，有一种有效的方法来调整参数使用退火。所得到的模型和学习算法与最大熵鉴别和信息瓶颈原理具有信息理论联系。从经验上讲，我们表明，该方法明显优于几个最先进的基线，包括两个最近提出的神经网络方法，在几个现实世界的数据集。我们还提供了将多项式似然性与文献中其他在潜在因子协同过滤中使用常用似然性函数进行比较的扩展实验，并给出了良好的结果。最后，我们确定了使用原则性贝叶斯推理方法的优缺点，并描述了它提供最显著改进的设置。
三、主要内容与工作
1、过去推荐系统领域的研究主要集中在线性模型上，为了引入非线性特征，我们提出了一个具有多项条件似然性的神经生成模型。尽管在语言建模和经济学中得到了广泛的应用，但在协同过滤文献中，尤其是在潜在因素模型的背景下，对多项相似性的研究似乎较少。
2、推荐系统通常使用基于排名的度量进行评估，例如平均精度和标准化的折扣累积收益。排名Top-N的损失很难直接优化，之前的直接排名损失最小化工作采用放松和近似法。在这里，我们证明了多项式相似性非常适合于隐式反馈数据的建模，并且与更流行的似然函数（如高斯函数和logistic函数）相比，它更接近于排名损失。
3、We find that two adjustments are essential to getting state-of-the-art results with vaes on this task:
• First, we use a multinomial likelihood for the data distribution. We show that this simple choice realizes models that outperform the more commonly used Gaussian and logistic likelihoods.
• Second, we reinterpret and adjust the standard vae objective, which we argue is over-regularized. We draw connections between the learning algorithm resulting from our proposed regularization and the information-bottleneck principle and maximum-entropy discrimination.
•首先，我们使用多项式可能性进行数据分布。我们表明，这种简单的选择实现了比更常用的高斯和逻辑相似性更好的模型。
•第二，我们重新解释和调整了标准的VAE优化目标，我们认为这是过度规范化的。我们得出了由我们提出的正则化产生的学习算法与信息瓶颈原理和最大熵鉴别之间的联系。
4、在矩阵分解和自编码等潜在因素模型的背景下，对多项式似然性的研究较少。一个显著的例外是协作竞争过滤（CCF）模型及其后续模型，它利用了关于向哪些用户提供哪些选项的更细粒度的信息。（如果有此类信息，也可将其纳入我们基于VAE的方法中。）我们认为多项式分布非常适合于对点击数据进行建模。点击矩阵的可能性（公式2）奖励将概率质量放在XU中非零条目上的模型。但该模型的概率质量预算有限，因为π（zu）必须等于1；项目必须与该有限预算竞争。因此，模型应该为更有可能被点击的项目分配更多的概率质量。在一定程度上，它将在推荐系统通常评估的前N名排名损失下表现良好。
5、Vaes make use of amortized inference : they flexibly reuse inferences to answer related new problems. This is well aligned with the ethos of collaborative filtering: analyze user preferences by exploiting the similarity patterns inferred from past experiences. In Section 2.4, we discuss how this enables us to perform prediction efficiently.
6、
四、总结
本文提出了一种用于隐式反馈数据协同过滤的变值方法。这使我们能够超越具有有限建模能力的线性因素模型。
介绍了一种神经网络参数化的多项式似然函数生成模型。结果表明，多项式似然法特别适用于用户项隐式反馈数据的建模。
基于对VAE目标的另一种解释，我们引入了一个额外的正则化参数来部分正则化一个VAE（mult-vaepr）。我们还提供了一种实用而有效的方法来调整使用kl退火引入的附加参数。我们将所得结果与去噪自动编码器（mult-dae）进行比较。
根据经验，我们发现mult-vaepr和mult-dae在多个现实数据集（包括最近提出的两种基于神经网络的方法）上都提供了具有竞争力的性能，mult-vaepr显著优于最先进的基线。最后，我们发现了mult-vaepr和mult-dae的优缺点，并表明采用原则贝叶斯方法更为稳健。
在今后的工作中，我们希望进一步研究附加正则化参数β所带来的权衡，并从理论上更深入地了解它为什么如此有效。根据侧边信息的条件扩展mult-vaepr也可能是提高性能的一种方法。