一、概述
推荐领域从传统的矩阵分解算法转向了基于深度学习的方法。背后的主要原因(以视频推荐为例子)：
1、来自用户的信号（例如视图）不是独立分布的观察结果，而是可以表示为动作序列。使用循环神经网络 (RNN) 有效地理解和建模这些序列是提高视频推荐系统准确性的关键。
2、视频通常以特征（视频类别、描述标签）为特征，这些特征可用于推导视频之间的相似性。此外，手表的背景（设备、国家……）对于定制推荐至关重要。将它们用作深度学习模型中的特征可以加快收敛速度，但也有助于在给定视频没有可用用户信号时的冷启动状态。
3、反馈（观看）只能在给定视频显示给用户（强盗反馈）时才能观察到。因此，我不知道如果我为给定用户选择其他视频会发生什么（反事实推理）。在这种类型的环境中学习需要特殊的范式，例如在强化学习中大量使用的离策略学习或反事实学习。最近，有几项工作一直在研究这些环境中的基于“深度学习”的模型。
下面将提出几个可能与推荐系统相关的研究方向来解决使用基于深度学习的推荐模型的局限性。
二、深度推荐的缺点
使用深度神经网络进行推荐有什么缺点？
有3个主要问题：
(1) 深度学习的一个常见反对意见是隐藏的权重和激活很难解释。众所周知，深度学习表现得像黑匣子，提供可解释的预测似乎是一项非常具有挑战性的任务。
（2）深度学习也需要大量的数据来充分支持其丰富的参数化。与视觉和语言等其他领域相比，在推荐系统研究的背景下很容易收集大量数据。
(3) 深度学习需要大量的超参数调优，这 是机器学习普遍存在的问题。
为了解决其中的一些问题，出现了各种各样的研究计划。
三、相应研究方向
1、评价方法
在阅读了在 RecSys 会议上发表的关于最近出版物的大量文献后，我注意到基线模型和评估数据集的选择是相当随意的，取决于作者。最大的问题是分数报告的明显不一致，这使得新模型的相对基准极具挑战性。
为什么推荐系统没有MNIST或ImageNet等价物？最常用的数据集似乎是MovieLens，并且训练和测试的分割也是任意的。此外，无法控制推荐系统结果中测试样本的难度（随机、按时间顺序等）。如果没有适当的标准来设计测试集，估计和衡量该领域的进展将是一项挑战。
2、大规模设置的可扩展性
可扩展性对于推荐系统在行业环境中的有用性至关重要。为此，通过探索以下问题，推荐模型肯定会更有效：
非平稳和流数据的增量学习（大量传入用户和项目）
高维张量和多媒体数据源的计算效率
在模型参数呈指数增长时平衡复杂性和可扩展性
一个有前途的研究领域是使用压缩技术来压缩高维输入数据的嵌入空间，这可以减少模型学习期间的计算时间。另一种有前途的方法是提取知识来学习推荐系统中的紧凑模型进行推理。关键概念是训练一个从大型教师模型中吸收知识的小型学生模型。
3、多任务学习
多任务学习是一种同时解决多个学习任务的方法，同时利用任务之间的共性和差异。它已成功用于许多计算机视觉和自然语言处理任务。最近的一些工作也将这种技术应用于推荐系统：
- Ask The GRU: Multi-Task Learning for Deep Text Recommendations提出了一种利用深度循环神经网络将文本序列编码为潜在向量的方法，特别是在协同过滤任务上端到端训练的门控循环单元 (GRU)。对于科学论文推荐的任务，这会产生具有显着更高准确性的模型。
- Neural Survival Recommender提出了一个基于 Long-Short Term Memory 的模型来估计用户何时会返回站点以及他们未来的收听行为。这样做的目的是解决即时推荐问题，即在正确的时间推荐正确的项目。它使用生存分析工具进行返回时间预测，使用指数族进行未来活动分析。
- Neural Rating Regression with Abstractive Tips Generation for Recommendation 提出了一个名为 NRT 的基于深度学习的框架，它可以同时预测精确的评级并生成具有良好语言质量的抽象提示，以模拟用户体验和对电子商务网站的感受。对于抽象提示生成，使用门控循环神经网络将用户和项目潜在表示“翻译”成简洁的句子。
- 扩展的自动编码器推荐框架及其在电影推荐中的应用采用堆叠式自动编码器来提取输入的特征，然后重构输入来进行推荐。然后将项目和用户的辅助信息混合到框架中，并使用基于 Huber 函数的正则化来提高推荐性能。
使用基于多任务学习的深度神经网络有很多优点。它通过泛化共享的隐藏表示来帮助防止过度拟合。它提供可解释的输出来解释建议。它隐式地增加了数据，从而缓解了稀疏性问题。最后，我们可以为跨域推荐部署多任务学习，每个特定任务为每个域生成推荐。
4、领域适应
单域推荐系统只关注一个域，而忽略了用户对其他域的兴趣，极大地加剧了稀疏性和冷启动问题。这些问题的切实解决方案是应用领域适应技术，其中模型得到从源领域学习的知识的辅助。在这种情况下，一个非常流行且经过充分研究的主题是迁移学习，它可以通过使用从其他领域迁移来的知识来改进一个领域的学习任务。一些现有的工作表明深度学习在捕捉不同领域的概括和差异以及在跨领域平台上生成更好的建议方面的功效。
- 在“推荐系统中跨域用户建模的多视图深度学习方法,”微软研究人员提出了一个基于内容的推荐系统来解决推荐质量和系统可扩展性的问题。他们使用深度学习方法将用户和项目映射到一个潜在空间，在该潜在空间中，用户和他们的首选项目之间的相似性最大化，使用丰富的特征集来代表用户，根据他们的网络浏览历史和搜索查询。他们还展示了如何通过减少输入的维度和训练数据的数量来使这种基于丰富特征的用户表示具有可扩展性。将不同领域组合成一个单一的学习模型有助于提高所有领域的推荐质量，并具有更紧凑、语义更丰富的用户潜在特征向量。
- 在“ A Content-Boosted Collaborative Filtering Neural Network for Cross-Domain Recommender Systems ”中，微软研究人员提出了一个名为 CCCFNet 的跨域推荐系统，它可以将协同过滤和基于内容的过滤结合在一个统一的框架中，从而克服了数据稀疏问题.
这是一个很有前途的研究方向，但总体而言，对于推荐系统研究来说，它的探索还很不足。
5、可解释性
反对深度学习的一个常见论点是神经网络是高度不可解释的。因此，基于深度神经网络做出可解释的推荐似乎非常具有挑战性。可解释的深度学习主要有两种重要方式。
- 首先是对用户做出可解释的预测，让他们了解网络推荐背后的因素。用于评论评分预测的具有双重局部和全局注意力的可解释卷积神经网络建议使用具有双重局部和全局注意力的卷积神经网络 (CNN) 对用户偏好和项目属性进行建模，其动机是 CNN 在提取复杂特征方面的优势。通过使用来自用户的聚合评论文本和项目的聚合评论文本，他们的模型可以学习每个用户和每个项目的独特特征（嵌入）。然后使用这些特征来预测评级。
- 第二个是通过探索权重和激活来更多地了解模型。Latent Relational Metric Learning via Memory-based Attention for Collaborative Ranking提出了一种称为 Latent Relational Metric Learning 的模型，该模型可以学习描述每个用户-项目交互的潜在关系。这有助于减轻现有度量学习方法潜在的几何不灵活性。这不仅可以实现更好的性能，还可以实现更大程度的建模能力，允许他们的模型扩展到更多的交互。
最近，注意力模型为缓解神经模型无法解释的问题做出了很大贡献。例如，注意力分解机器通过神经注意力网络从数据中学习每个特征交互的重要性。注意力权重不仅可以深入了解模型的内部工作原理，还可以为用户提供可解释的结果。一般来说，注意力模型既可以提高性能，又可以提供简洁的可解释性，这进一步推动了它在基于深度学习的推荐系统中的使用。
值得注意的是，模型的可解释性和可解释性强烈依赖于应用领域和内容信息的使用。因此，一个有前途的研究方向是设计更好的注意力机制，例如对话式或生成式解释。
6、联合学习框架
做出准确的推荐需要对物品特性和用户的实际需求和偏好有深入的了解。例如，上下文信息可以根据用户的情况和环境定制服务和产品，这有助于缓解冷启动问题。隐式反馈可以指示用户的隐式意图并补充显式反馈（这是一项需要资源的任务）。这种隐含的反馈可以从社交媒体和物理世界中收集，深度学习可以处理这些数据源，同时带来更多的机会来推荐具有非结构化数据的各种项目，例如文本、视觉、音频和视频特征。
此外，深度学习可以极大地帮助自动化特征工程，目前推荐研究社区需要人工干预。从自由文本、图像或野外数据中学习表示学习还有一个额外的优势，而无需设计复杂的特征工程管道。
最近的一个称为联合表示学习的框架能够学习用户和项目的多模态表示。在这个框架中，每种类型的信息源（评论文本、产品图像、数字评分等）都被用来基于可用的（深度）表示学习架构来学习相应的用户和项目表示。来自不同来源的表示与一个额外的层集成，以获得用户和项目的联合表示。最后，使用成对学习对每个源和联合表示作为一个整体进行训练，以对前 N 个推荐进行排名。通过离线将用户和项目表示为嵌入，并使用简单的向量乘法在线计算排名分数，与其他学习复杂预测网络进行在线计算的推荐深度学习方法相比，JRL 还具有快速在线预测的优势。因此，另一个有前途的研究方向是在端到端管道中设计更好的归纳偏差，这可以对不同的模态数据进行推理以获得更好的推荐性能。
四、结论
深度学习在计算机科学的所有子领域中变得越来越流行，例如自然语言处理、图像和视频处理、计算机视觉和数据挖掘，因为之前没有这样一种通用的方法可以解决不同类型的计算问题。深度学习方法甚至可以帮助这些子领域相互协作，尽管深度学习在推荐系统领域的应用有望取得显着且令人鼓舞的结果，但可解释性和可扩展性等挑战仍有待改进，值得未来为其投入时间。