Attention-Based Transactional Context Embedding for Next-Item Recommendation简析

Attention-Based Transactional Context Embedding for Next-Item Recommendation

Abstract

目前大多数存在的基于事物的推荐系统主要考虑最近出现的物品而不是全部物品。同时，他们也假设在一个事物中的物品是有固定顺序的，但是并不切实际。而且，一个长的事务经常包含很多与下一次选择无关的物品。因此作者提出ATEM来衡量不同物品的权重同时假设无序。

Framework

ATEM

Item embedding

对于上下文中的每个i都是one-hot向量，那么直接乘上W来对i进行编码。因为是one-hot的，所以乘上W也只是获得W的某一列这样子。也就是 $h_j=W^i_{:,j}$

Transactional Context Embedding with Attention

attention计算如下：

$w^{\alpha}$是一个物品级别的上下文向量，所有物品都共享这一个向量。

context embedding的得到：

Target Item Prediction

目标item $i_t$的成绩 $S_t$由W与 $e_c$相乘，相当于把 $e_c$映射回 $|I|$个元素组成的向量，分别计算在每个item上的score。 $S_t(c)=W^o_{t,:}e_c$

那么每个item的概率就可以得出：

Learning and Prediction

由于上述计算，时间复杂度较高，文章采用NCE进行计算

Noise Contrastive Estimation

根据全概率公式：
$P_{\theta}(y,i_c|c)=P(y=1)P_{\theta}(i_c|c，y=1)+P(y=0)Q(i_c|y=0)$

可得：

又根据贝叶斯公式可得：

损失函数为：

Experiments

准确率分别在两个数据集都有所提升。

同时验证了无序情况下，模型的性能