混合推荐系统介绍

混合推荐算法就是利用两种或者两种以上推荐算法来配合,克服单个算法存在的问题,期望更好地提升推荐的效果

1存在的问题

利用混合推荐算法更好地避免当前主流推荐算法存在的问题,比如

1冷启动问题、2数据稀疏性问题

3马太效应(头部”标的物“被越来越多的用户”消费“,而质量好的长尾”标的物“由于用户行为较少,自身描述信息不足而得不到足够的关注)

4灰羊(gray sheep)效应(用户倾向性和偏好不太明显,一家人都用同一个电视,该电视行为比较宽泛,无任何特性)

5投资组合效应(非常多的商家卖相同或者相似的商品,同一本书的不同版本、不同语言

6稳定性(兴趣稳定后,仍是原来的 兴趣推荐,很难改变对用户的认知)

2解决方案

构建新的算法

1单体的(Monolithic)混合范式

整合多种推荐算法到同一个算法体系中,由这个整合的推荐算法统一提供推荐服务

(1) 特征组合(Feature Combination)混合

(2) 特征增强(Feature Augmentation)混合

第一个算法可能事先预处理第二个算法依赖的数据(如嵌入方法在推荐系统中的应用

2并行的(Parallelized)混合范式

(3) 掺杂(Mixed)混合

掺杂方法将多个推荐算法的结果混合起来,最终推荐给某个用户,

(4) 加权(Weighted)混合

(5) 分支(Switching)混合

根据某个判别规则来决定在某种情况发生时,利用某个推荐算法的推荐结果

3流水线(Pipelined)混合范式

一个推荐算法生成的推荐结果给到另外一个推荐算法作为输入

(6) 级联(Cascade)混合

(7) 元级别(Meta-level)混合

总结

如果对于特征层面我们无更多的其他知识和信息,单体范式是有价值的,它只需要对主推荐算法及数据结构进行极少的预处理和细微调整就可以了。

并行的混合推荐范式是对业务侵入最小的一种方式,因为混合阶段只是对不同算法的结果进行简单混合。但是由于使用了多个推荐算法的结果,整个推荐的计算复杂度会更高,并且多个算法的推荐结果的得分怎么在同一个框架中具备可比性也是比较棘手的、需要处理好的问题。

流水线式的混合策略是最复杂耗时的一类混合方案,需要对前后的两个算法有很好的理解,并且它们也需要配合好才能最终产生比单个算法好的结果,但如果能将几个差别较大(差别较大,混合后预测的方差会更小,类似遗传中的杂交优势)的推荐算法很好地整合起来时,往往收获也是较大的。

工业中

在工业级推荐系统中一般将整个推荐流程分为召回、排序、策略调控3个阶段,具体的架构见下图

在排序阶段,对召回阶段多种召回算法混合后的推荐结果进行精细排序,因此从召回到排序这两个阶段的pipeline就是前面提到的级联混合推荐

1实时推荐系统与混合推荐

实时个性化推荐基于用户最近的行为近实时更新用户的推荐列表

将短期偏好获得的推荐结果与原来T+1推荐结果融合推荐给用户也是一种算法的混合,一般可以采用加权的混合方式,如《《基于标签的实时短视频推荐系统

2深度学习等复杂推荐模型整合多数据源

深度学习在推荐系统中的应用》也算是一种多数据源能力的融合

3特殊情况

通过一个独立的接口获得一组默认推荐(比如热门推荐)存入客户端本地存储中,当故障出现时,就用这一组默认推荐来填补

4推荐数量不足的增补

数量不够前端展现时,一般会采用补足的策略,比如利用热门推荐的结果填补不足的数量

5通过混合策略解决用户冷启动

思考视角

1整合实时推荐中用户短期和长期兴趣

2利用单个复杂模型建模多源信息

3多源的标的物混合(综合性的推荐服务)

4家庭场景中多人兴趣的混合推荐(智能电视上的个性化推荐

5用户在多APP场景下行为的混合(在同一家公司的多个APP上的行为,帮助公司从多个渠道来获得用户的兴趣偏好,进而对用户有更全面的了解

6用户多状态(场景)的融合推荐(用户的行为之间是有一定的依赖关系的,用户在当前状态的行为可能依赖于前一状态的操作和决策,淘宝加购物车和下单

混合推荐系统不管是从算法上,还是从工程实践、产品体验上都是非常重要的研究方向,未来一定会在推荐系统的应用中产生巨大的商业价值!

参考文章:https://mp.weixin.qq.com/s/-OwxXZmbjrcpDtH-hWN-oQ

参考文献

参考文献6是最新的一篇关于混合推荐系统全面介绍的论文,7-23是具体的混合推荐系统的算法介绍,

  1. https://www.netflixprize.com/

  2. [2009] The BellKor Solution to the Netflix Grand Prize

  3. [2009] The BigChaos Solution to the Netflix Grand Prize

  4. [2009] The Pragmatic Theory solution to the Netflix Grand Prize

  5. [2002] Hybrid recommender systems: Survey and experiments

  6. [2017] Hybrid Recommender Systems : A Systematic Literature Review

  7. [YouTube 2016] Deep Neural Networks for YouTube Recommendations

  8. [2011] A Cascade Ranking Model for Efficient Ranked Retrieval

  9. [2009] Hydra- A Hybrid Recommender System

  10. [2010] An Improved Switching Hybrid Recommender System Using Naive Bayes Classifier and Collaborative Filtering

  11. [2014] See What You Want to See- Visual User-Driven Approach for Hybrid Recommendation

  12. [2015] HyPER- A Flexible and Extensible Probabilistic Framework for Hybrid Recommender Systems

  13. [2016] A Hybrid Recommendation System Considering Visual Information for Predicting Favorite Restaurants

  14. [2017] A Multicriteria Evaluation of Hybrid Recommender Systems- On the Usefulness of Input Data Characteristics

  15. [2018] Feature-Combination Hybrid Recommender Systems for Automated Music Playlist Continuation

  16. [2019] Hybrid Recommender System for Therapy Recommendation

  17. [2019] Personalized Explanations for Hybrid Recommender Systems

  18. [2009] A Unified Approach to Building Hybrid Recommender Systems

  19. [2016] Privacy-preserving Hybrid Recommender System

  20. A Scalable, Accurate Hybrid Recommender System

  21. Hybrid Recommender System- Recommending Restaurants to Users

  22. Hybrid Recommender Systems- The Review of State-of-the-Art Research and Applications 

  23. Partial VAE for Hybrid Recommender System

发布了105 篇原创文章 · 获赞 27 · 访问量 2万+

猜你喜欢

转载自blog.csdn.net/serenysdfg/article/details/103702306