【详解】多元的智能推荐系统

写在前文：

最近在涉猎推荐系统，可谓是内容繁多，我会偏向机器学习&深度学习方向探究推荐系统，尤其是协同过滤算法~一起学习吧

协同过滤简介：

​ 协同过滤(Collaborative Filtering)作为推荐算法中最经典的类型，包括在线的协同和离线的过滤两部分。所谓在线协同，就是通过在线数据找到用户可能喜欢的物品，而离线过滤，则是过滤掉一些不值得推荐的数据，比如推荐值评分低的数据，或者虽然推荐值高但是用户已经购买的数据。

协同过滤的模型一般为m个物品，m个用户的数据，只有部分用户和部分数据之间是有评分数据的，其它部分评分是空白，此时我们要用已有的部分稀疏数据来预测那些空白的物品和数据之间的评分关系，找到最高评分的物品推荐给用户。

一般来说，协同过滤推荐分为三种类型。第一种是基于用户(user-based)的协同过滤，第二种是基于项目(item-based)的协同过滤，第三种是基于模型(model based)的协同过滤。

---

一、常用的评价指标

四个基本概念

TP、True Positive 真阳性：预测为正，实际也为正

FP、False Positive 假阳性：预测为正，实际为负

FN、False Negative 假阴性：预测与负、实际为正

TN、True Negative 真阴性：预测为负、实际也为负。

【一致判真假，预测判阴阳。】

首先看真阳性：真阳性的定义是“预测为正，实际也是正”，这个最好理解，就是指预测正确，是哪个类就被分到哪个类。对类A而言，TP的个位数为2，对类B而言，TP的个数为2，对类C而言，TP的个数为1。

然后看假阳性，假阳性的定义是“预测为正，实际为负”，就是预测为某个类，但是实际不是。对类A而言，FP个数为0，我们预测之后，把1和2分给了A，这两个都是正确的，并不存在把不是A类的值分给A的情况。类B的FP是2，"3"和"8"都不是B类，但却分给了B，所以为假阳性。类C的假阳性个数为2。

最后看一下**假阴性，**假阴性的定义是“预测为负，实际为正”，对类A而言，FN为2，"3"和"4"分别预测为B和C，但是实际是A，也就是预测为负，实际为正。对类B而言，FN为1，对类C而言，FN为1。

真阴性就直接看的出：预测为假，实际也为假：A中TN为5，B中4，C:5

---

准确率(Accuracy)

这三个指标里最直观的就是准确率: 模型判断正确的数据(TP+TN)占总数据的比例

Acc=(TP+TN)/(TP+TN+FP+FN)

召回率(Recall)

针对数据集中的所有正例(TP+FN)而言,模型正确判断出的正例(TP)占数据集中所有正例的比例.FN表示被模型误认为是负例但实际是正例的数据.召回率也叫查全率,以物体检测为例,我们往往把图片中的物体作为正例,此时召回率高代表着模型可以找出图片中更多的物体!

Recall=TP/(TP+FN)

精确率(Precision):针对模型判断出的所有正例(TP+FP)而言,其中真正例(TP)占的比例.精确率也叫查准率,还是以物体检测为例,精确率高表示模型检测出的物体中大部分确实是物体,只有少量不是物体的对象被当成物体

Precision=TP/(TP+FP)

区分好召回率和精确率的关键在于:针对的数据不同,召回率针对的是数据集中的所有正例,精确率针对的是模型判断出的所有正例

通俗的说：精确率是计算我们预测出来的某类样本中，有多少是被正确预测的。针对预测样本而言。

召回率是 针对原先实际样本而言，有多少样本被正确的预测出来了。
送上我以前学习时的学渣笔记：

套用网上的一个例子：

某池塘有1400条鲤鱼，300只虾，300只鳖。现在以捕鲤鱼为目的。撒一大网，逮着了700条鲤鱼，200只虾，100只鳖。那么，这些指标分别如下：

精确率 = 700 / (700 +200 + 100) = 70%

召回率 = 700 / 1400 =50%

可以吧上述的例子看成分类预测问题，对于“鲤鱼来说”，TP真阳性为700，FP假阳性为300，FN假阴性为700。

Precison=TP/(TP+FP)=700(700+300)=70%

Recall=TP/(TP+FN)=700/(700+700)=50%

将上述例子，改变一下：把池子里的所有的鲤鱼、虾和鳖都一网打尽，观察这些指标的变化。

精确率 = 1400 / (1400 +300 + 300) = 70%

召回率 = 1400 / 1400 =100%

TP为1400：有1400条鲤鱼被预测出来；FP为600：有600个生物不是鲤鱼类，却被归类到鲤鱼；FN为0，鲤鱼都被归类到鲤鱼类去了，并没有归到其他类。

Precision=TP/(TP+FP)=1400/(1400+600)=70%

Recall=TP/(TP+FN)=1400/(1400)=100%

其实就是分母不同，一个分母是预测为正的样本数，另一个是原来样本中所有的正样本数。

F1-Score

F1分数（F1 Score），是统计学中用来衡量二分类模型精确度的一种指标。它同时兼顾了分类模型的精确率和召回率。F1分数可以看作是模型精确率和召回率的一种加权平均，它的最大值是1，最小值是0，它被定义为精确率和召回率的调和平均数

更一般的，我们定义Fβ分数为：

除了F1分数之外，F0.5分数和F2分数，在统计学中也得到了大量应用，其中，F2分数中，召回率的权重高于精确率，而F0.5分数中，精确率的权重高于召回率。

---

上面说完了几种常用的评价指标，我们再看看推荐系统的几种类别

1.基于用户的系统过滤算法

基于用户的协同过滤算法主要包括两个步骤：

1：找到和目标用户兴趣相似的用户集合
2： 找到这个集合中用户喜欢的、且目标用户没有听过过的物品推荐给用户

协同过滤算法主要利用用户行为的相似度计算用户相似度。给定用户u和用户v，令分别表示用户u、v曾经有过正反馈的物品集合，则可以通过以下两种方式定义用户的相似度：

1. Jaccard

2. 余弦相似度

   得到用户之间的相似度后，该算法会给用户推荐和他兴趣最相似的K个用户喜欢的物品。如下的公式度量了目标用户u对物品i的感兴趣程度：
   
   其中，包含K个和用户u兴趣最接近的用户，表示对物品i有过行为的用户集合，表示用户u、v之间的兴趣相似度，表示用户v对物品i的兴趣。

​

2.基于物品的协同过滤

用户协同过滤的思想是计算用户-用户的相似度，物品协同过滤就是基于物品-物品相似度的推荐，先找到用户喜欢过的物品最相似的物品列表，然后给用户推荐这些物品。

相似度计算：

只不过这个物品-物品的相似度并不是直接计算得到的，而是通过喜欢物品一的用户和喜欢物品二的用户的交集来计算的，两个物品相似是因为它们出现在很多共同用户的喜好列表中。

这里面需要注意的是热门物品和其他物品之间的相似度，理论上来说大多数用户都可能会喜欢热门物品，这样就可能造成热门物品-单个物品的相似度很高，所以需要适当的对热门物品进行降权处理

---

3.基于模型的协同过滤

协同过滤有很多同胞兄弟，不同的侧重，有不同的朋友~例如上述的基于物品和基于用户的协同过滤等等，还有基于矩阵分解，基于关联规则的等等，我主要是要涉猎基于机器学习，深度学习模型的推荐系统

以下文章来源

​ 基于模型的协同过滤作为目前最主流的协同过滤类型，其相关算法可以写一本书了，当然我们这里主要是对其思想做有一个归类概括。我们的问题是这样的m个物品，m个用户的数据，只有部分用户和部分数据之间是有评分数据的，其它部分评分是空白，此时我们要用已有的部分稀疏数据来预测那些空白的物品和数据之间的评分关系，找到最高评分的物品推荐给用户。

对于这个问题，用机器学习的思想来建模解决，主流的方法可以分为：用关联算法，聚类算法，分类算法，回归算法，矩阵分解，神经网络,图模型以及隐语义模型来解决。下面我们分别加以介绍。

3.1 用关联算法做协同过滤

一般我们可以找出用户购买的所有物品数据里频繁出现的项集活序列，来做频繁集挖掘，找到满足支持度阈值的关联物品的频繁N项集或者序列。如果用户购买了频繁N项集或者序列里的部分物品，那么我们可以将频繁项集或序列里的其他物品按一定的评分准则推荐给用户，这个评分准则可以包括支持度，置信度和提升度等。

常用的关联推荐算法有Apriori，FP Tree和PrefixSpan。如果大家不熟悉这些算法，可以参考我的另外几篇文章：

Apriori算法原理总结

FP Tree算法原理总结

PrefixSpan算法原理总结

3.2 用聚类算法做协同过滤

用聚类算法做协同过滤就和前面的基于用户或者项目的协同过滤有些类似了。我们可以按照用户或者按照物品基于一定的距离度量来进行聚类。如果基于用户聚类，则可以将用户按照一定距离度量方式分成不同的目标人群，将同样目标人群评分高的物品推荐给目标用户。基于物品聚类的话，则是将用户评分高物品的相似同类物品推荐给用户。

常用的聚类推荐算法有K-Means, BIRCH, DBSCAN和谱聚类，如果大家不熟悉这些算法，可以参考我的另外几篇文章：

K-Means聚类算法原理

BIRCH聚类算法原理

DBSCAN密度聚类算法

谱聚类（spectral clustering）原理总结

3.3 用分类算法做协同过滤

如果我们根据用户评分的高低，将分数分成几段的话，则这个问题变成分类问题。比如最直接的，设置一份评分阈值，评分高于阈值的就是推荐，评分低于阈值就是不推荐，我们将问题变成了一个二分类问题。虽然分类问题的算法多如牛毛，但是目前使用最广泛的是逻辑回归。为啥是逻辑回归而不是看起来更加高大上的比如支持向量机呢？因为逻辑回归的解释性比较强，每个物品是否推荐我们都有一个明确的概率放在这，同时可以对数据的特征做工程化，得到调优的目的。目前逻辑回归做协同过滤在BAT等大厂已经非常成熟了。

常见的分类推荐算法有逻辑回归和朴素贝叶斯，两者的特点是解释性很强。如果大家不熟悉这些算法，可以参考我的另外几篇文章：

逻辑回归原理小结

朴素贝叶斯算法原理小结

3.4 用回归算法做协同过滤

用回归算法做协同过滤比分类算法看起来更加的自然。我们的评分可以是一个连续的值而不是离散的值，通过回归模型我们可以得到目标用户对某商品的预测打分。

常用的回归推荐算法有Ridge回归，回归树和支持向量回归。如果大家不熟悉这些算法，可以参考我的另外几篇文章：

线性回归原理小结

决策树算法原理(下)

支持向量机原理(五)线性支持回归

3.5 用矩阵分解做协同过滤

用矩阵分解做协同过滤是目前使用也很广泛的一种方法。由于传统的奇异值分解SVD要求矩阵不能有缺失数据，必须是稠密的，而我们的用户物品评分矩阵是一个很典型的稀疏矩阵，直接使用传统的SVD到协同过滤是比较复杂的。

目前主流的矩阵分解推荐算法主要是SVD的一些变种，比如FunkSVD，BiasSVD和SVD++。这些算法和传统SVD的最大区别是不再要求将矩阵分解为UΣV**T

的形式，而变是两个低秩矩阵

的乘积形式。对于矩阵分解的推荐算法，后续我会专门开篇来讲。

3.6 用神经网络做协同过滤

用神经网络乃至深度学习做协同过滤应该是以后的一个趋势。目前比较主流的用两层神经网络来做推荐算法的是限制玻尔兹曼机(RBM)。在目前的Netflix算法比赛中， RBM算法的表现很牛。当然如果用深层的神经网络来做协同过滤应该会更好，大厂商用深度学习的方法来做协同过滤应该是将来的一个趋势。后续我会专门开篇来讲讲RBM。

3.7 用图模型做协同过滤

用图模型做协同过滤，则将用户之间的相似度放到了一个图模型里面去考虑，常用的算法是SimRank系列算法和马尔科夫模型算法。对于SimRank系列算法，它的基本思想是被相似对象引用的两个对象也具有相似性。算法思想有点类似于大名鼎鼎的PageRank。而马尔科夫模型算法当然是基于马尔科夫链了，它的基本思想是基于传导性来找出普通距离度量算法难以找出的相似性。后续我会专门开篇来讲讲SimRank系列算法。

3.8 用隐语义模型做协同过滤

隐语义模型主要是基于NLP的，涉及到对用户行为的语义分析来做评分推荐，主要方法有隐性语义分析LSA和隐含狄利克雷分布LDA，这些等讲NLP的再专门讲。

4. 协同过滤的一些新方向

当然推荐算法的变革也在进行中，就算是最火爆的基于逻辑回归推荐算法也在面临被取代。哪些算法可能取代逻辑回归之类的传统协同过滤呢？下面是我的理解：

a) 基于集成学习的方法和混合推荐:这个和混合推荐也靠在一起了。由于集成学习的成熟，在推荐算法上也有较好的表现。一个可能取代逻辑回归的算法是GBDT。目前GBDT在很多算法比赛都有好的表现，而有工业级的并行化实现类库。

b)基于矩阵分解的方法：矩阵分解，由于方法简单，一直受到青睐。目前开始渐渐流行的矩阵分解方法有分解机(Factorization Machine)和张量分解(Tensor Factorization)。

c) 基于深度学习的方法：目前两层的神经网络RBM都已经有非常好的推荐算法效果，而随着深度学习和多层神经网络的兴起，以后可能推荐算法就是深度学习的天下了？目前看最火爆的是基于CNN和RNN的推荐算法。

5. 协同过滤总结

协同过滤作为一种经典的推荐算法种类，在工业界应用广泛，它的优点很多，模型通用性强，不需要太多对应数据领域的专业知识，工程实现简单，效果也不错。这些都是它流行的原因。

当然，协同过滤也有些难以避免的难题，比如令人头疼的“冷启动”问题，我们没有新用户任何数据的时候，无法较好的为新用户推荐物品。同时也没有考虑情景的差异，比如根据用户所在的场景和用户当前的情绪。当然，也无法得到一些小众的独特喜好，这块是基于内容的推荐比较擅长的。

---

​ 推荐系统比较全面，多的都可以单独出书了，很多大学也开暂未这门课，不过随着大数据时代的来临，越来越多像我一样的前辈涉猎，慢慢精通，各大学院也纷纷开设，各大电商平台也纷纷使用，研究，创新不同的推荐系统算法，我作为一个初学者并且我还在本科大二在读，有着大量的涉猎时间，平常比较自律，所以，奔着机器学习，深度学习方向涉猎一下推荐系统，提高一下水平，我还会写大大小小数几十篇推荐系统的文章，在我接触后，我秉持七分实战三分理论的原则，慢慢做一些基础的，实战的项目送上，还希望朋友们关注一下小弟的博客，一起学习！

最后邀请大家一同进入我的机器&深度学习交流群！话不多说，下期见~

上海第二工业大学 智能科学与技术 大二 周小夏（CV调包侠）