序列化推荐系统旨在根据用户的浏览历史动态地为用户推荐下一个商品，这在Yelp、TikTok、Amazon等众多Web应用程序中发挥着至关重要的作用。
这些推荐系统通过使用不同的神经网络架构来学习用户-商品交互中商品之间的依赖关系，从而对用户行为进行建模。
这些模型通常使用商品ID来表示商品，通过随机初始化向量来表示不同的商品，并使用来自用户-商品交互的信号来优化这些商品的向量化表示。
图1：商品与用户交互频度分布
然而，现有的基于商品ID向量表示的推荐系统通常面临流行偏差问题。
如图1（a）所示，推荐数据集中的商品与用户交互频率服从长尾分布，即仅有少部分商品与用户频繁交互，这使得基于商品ID的推荐模型通常面临冷启动问题，很多商品的向量表示训练不够充分。如图1（b）所示，数据集中用户真实需要的商品中约74%与用户交互的次数低于20次，但基于商品ID的模型（T5-ID）在推荐结果中选择了返回给用户更加流行的商品。这导致了推荐系统存在典型的流行偏差问题即偏好于返回热门的商品作为推荐结果。
此外，如图2（a） 所示， 基于商品ID的推荐系统（T5-ID）学习到的商品向量表示空间展现了明显的各向异性，这使得流行商品与其他商品被划分到不同的区域。相反，如图2（b） 所示，基于文本匹配的商品推荐模型TASTE在空间中将流行商品和其他商品的向量混合，从而能够通过匹配用户和商品的文本表示来为推荐系统返回更多文本相关但长尾的商品，最终缓解序列化推荐模型中的流行偏差问题。
图2：基于商品标识符模型和文本匹配模型商品向量空间可视化
东北大学、卡内基梅隆大学和清华大学研究者针对以上问题，提出了基于文本匹配的序列化推荐方法（TASTE），它用文本表示商品和用户，通过匹配文本向量表征来建立它们之间的相关性，并缓解了基于商品ID的推荐模型的流行偏差问题。
论文发表于CIKM2023
论文链接：https://www.aminer.cn/pub/64ed716d3fda6d7f0658a94f
开源代码：https://github.com/OpenMatch/TASTE
TASTE通过设计一些提示模板来表示商品，并用商品ID和商品属性填充模板来描述用户和商品。商品信息提供文本匹配线索，以对用户和商品之间的依赖性和相关性进行建模。TASTE还提出了一种注意力稀疏化编码方法，以打破语言模型的最大长度边界限制，实现对用户-商品交互的长文本表示进行编码。它将用户-商品交互历史划分为不同的子序列，独立地对每个子序列的文本表示进行编码，并减少了注意力计算开销。
基于文本匹配的序列化推荐模型（TASTE）
图3：基于文本匹配的序列化推荐模型（TASTE）框架
我们提出了基于文本匹配的序列化推荐（TASTE）模型。如图3所示，我们首先描述了如何用文本表示用户交互历史和商品，然后使用文本匹配对序列化推荐进行建模。
最后，TASTE提出了一种注意力稀疏化方法来解锁模型编码用户-商品交互长文本序列的能力。
1.基于文本匹配的序列化推荐模型
给定用户-商品交互历史H={v1，v2，…，vt-1}，序列化推荐任务旨在推荐商品Vt以满足用户在第t时刻的需求。TASTE使用预训练语言模型T5编码用户交互历史H和商品v，并通过匹配它们的文本向量表征来对用户和商品之间的相关性进行建模。
对于每个商品v，我们使用商品的ID和它的k个商品属性以公式1的模版形式将商品文本化。
公式1：商品文本化表示
k是第k个属性所对应的名称，v（id）和v（i）分别是商品v的商品标识符及第i个属性的文本描述。这里的v（id）被视作一种ID提示，用于帮助语言模型捕捉超出商品描述范围的用户和商品间的匹配信号。
我们同样使用模版对用户交互历史H进行文本化描述：“Here is the visit history list of user: X（H） recommend next item”。它可以提供序列化推荐任务的定义，帮助预训练语言模型更好地建模用户行为。X（H）是文本化的商品序列{v1，v2，…，vt-1}的拼接结果，我们反转了商品序列顺序以保留最近的交互商品。
公式2：用户交互历史文本化表示
我们使用T5分别对用户交互历史H和商品v进行编码，并使用从T5解码出的第一个分词输入的表征作为二者的向量表征hH和hv。
公式3：通过T5编码得到用户交互历史和商品的向量表征
我们基于编码向量表示hH和hv计算用户交互历史H和商品v的相关性。
公式4：排序概率计算公式。其中·表示向量内积
我们使用公式5优化语言模型参数，使用第t时刻用户交互的商品作为正样本，负样本来自inbatch和随机采样两种负采样方法，基于对比学习的方式训练模型。
公式5：采用对比学习方法训练模型
2.基于注意力稀疏化的用户-商品交互历史长文本编码
在现实世界中，购买或浏览历史通常涉及长期交互。较长的交互通常包含更多的用户行为信息，可以更好地对用户行为建模，并获得更准确的推荐结果。我们采用Fusion-in-Decoder架构以突破语言模型对于输入文本的长度限制，并进一步对长用户序列进行建模。我们首先将用户交互历史文本X（H）划分为n个子序列文本X（H）={X（H1），X（H2），…，X（Hn）}，每个子序列反映了用户在特定时间内的喜好情况，并使用子序列中用户交互过的商品进行表示。我们使用T5编码器对每个用户交互历史子序列进行独立编码。
公式6：独立地对用户交互历史子序列进行编码
最后，我们可以通过将稀疏编码得到的用户商品交互序列表征馈送到解码器模块来获得用户商品交互历史的最终向量表示。
公式7：解码器中进行融合获得最终向量表示
解码器使用交叉注意力机制重新为不同的用户-商品交互子序列赋予权重，并通过从文本化的用户-商品交互历史中的所有商品的文本化描述中捕获文本匹配信号来对用户行为进行建模。
实验结果
表1：不同序列化推荐模型在Amazon和Yelp数据集上的表现
TASTE的推荐性能如表1所示。总体而言，TASTE在所有数据集上都显著优于基线模型，实现了18%的性能提升。与基于商品ID向量建模的推荐模型（如Bert4Rec）相比，TASTE得益于使用文本匹配信号对用户和商品之间的相关性进行建模，推荐性能获得了显著提升。TASTE还优于最先进的推荐模型DIF-SR。后者利用商品属性作为辅助信息以帮助模型更好地从用户-商品交互历史中学习用户行为，它将商品属性表示为向量，并更侧重于解耦和融合商品中的辅助信息。相比较于DIF-SR，TASTE没有设计复杂的架构来融合辅助信息，而是使用一个通用的提示学习模板来表示商品和用户交互行为，利用T5语言模型中经过文本预训练的注意力头来捕捉用户交互历史和商品的文本的语义信息。TASTE展示了将预训练语言模型直接应用于推荐系统的优势。
表2：消融实验
如表2所示，我们进一步探索了提示学习建模、不同的负采样策略和我们的长用户商品交互建模方法的有效性。我们在基于批内负样本采样的对比学习训练的模型TASTE（Inbatch）的基础上探究了流行采样，随机采样和难负例采样（ANCE）的实验结果。使用从流行商品中采样的额外负样本TASTE（Popular Negs）会略微降低TASTE（Inbatch）的推荐性能，原因可能在于高频率交互的商品通常表达了用户的通用兴趣，并且很容易与不同的用户交互。TASTE（ANCE）的性能优于TASTE（Inbatch），但低于TASTE（Rand Negs）。这一现象表明，模型选择的难负例商品被用户交互的潜力也很高，这些也不是真正的负样本。此外，得益于我们的注意力稀疏化方法，TASTE性能实现了进一步的提升，证明了它通过建模更长期的用户-商品交互历史来学习用户偏好会更加精准。
表3：不同商品建模方式下模型的推荐行为
如表3所示，比较了T5-ID、TASTE w/o ID和TASTE三种采用不同商品建模方法的模型的推荐行为。T5-ID随机初始化商品ID向量表征并直接预测商品ID。TASTE w/o ID和TASTE均采用双塔架构，前者只使用商品属性，后者使用商品标识符和属性对商品进行编码。
如我们的评估结果所示，T5-ID在所有数据集的推荐结果中平均返回49.5%的流行商品，表明它在推荐商品时面临着流行偏差问题。TASTE在其推荐结果中减少了平均18.75%的流行商品。它使用文本表示商品，并利用文本匹配来校准T5-ID的面向流行商品的推荐行为。TASTE获得了更高的Bleu和Recall分数，证明了它在推荐更合适且文本相关的商品方面的有效性。
此外，与TASTE w/o ID相比，TASTE在商品ID的帮助下获得了更高的Bleu和Dist分数。这表明商品ID可以作为一种提示，在商品属性之外提供额外的匹配信号，以更好地建模用户和商品之间的相关性。
图4：不同用户交互频率商品的推荐效果
如图4所示，实验比较了不同用户交互频率下的商品推荐效果。我们根据用户交互频率将商品分为两组，包括长尾商品和其他商品（比例为2:8）。TASTE在这些长尾商品上显示出比T5-ID更显著的推荐准确性，这说明了它在使用商品的标识符和属性学习商品向量表示商品可以有效地缓解推荐系统中的“冷启动”问题。同时表明，TASTE可以将预训练语言模型学习到的语言知识扩展到这些长尾商品的表示上，并通过文本匹配直接建模用户商品相关性。
总结
我们提出了一种基于文本匹配的序列化推荐（TASTE）模型，该模型用文本表示用户交互历史和商品，捕获文本匹配信号以对它们之间的相关性进行建模。
TASTE在广泛使用的序列化推荐数据集上达到了最先进的水平。它的性能优于以前的基于商品ID的方法，缓解了流行偏差问题并使用商品ID和属性更好地表示长尾商品。
值得注意的是，TASTE能够根据长期的用户-商品交互历史更好地建模用户行为，并返回更多与文本相关且多样化的商品来满足用户需求。