笔记：《Reinforcement Knowledge Graph Reasoning for Explainable Recommendation》

阅读日期：2020.2.18
论文题目：《Reinforcement Knowledge Graph Reasoning for Explainable Recommendation》

发现问题：

• 利用知识图谱进行推荐，现有的研究方向： ①利用知识图嵌入作为丰富的内容信息来提高推荐性能 ②利用知识图中的实体和路径信息做出可解释的决策

• 存在的问题： ①解释路径本质上是事后解释，因为它们是在相应的项被选择之后通过软匹配产生的
  ②有一个基于RNN模型利用KG推理进行推荐的。但需要枚举每对user-item之间的所有可能路径，以便进行模型训练和预测。这对于大规模的知识图来说是不切实际的

主要贡献：

1. 强调了将丰富的异构信息纳入推荐问题，用以正式定义和解释推理过程的重要性。
2. 提出了一种基于RL的方法来解决现存的问题，该方法通过soft reward strategy，用户条件操作修剪和多跳评分策略的驱动。
3. 设计了一种基于policy网络的基于波束搜索的算法，可以有效地采样各种推理路径和候选物品集以进行推荐
4. 广泛评估了该的方法在多个亚马逊电子商务域中的有效性，获得了强有力的结果以及可解释的推理路径。

挑战与解决方法：

1. 衡量一个物品是否适合推荐给用户是非常重要的，故需要仔细考虑终端条件和RL奖励。
   【设计了一个基于多跳评分函数的软奖励策略，利用知识图中丰富的异构信息。】
2. 由于action空间取决于图的出度，一些节点可能非常大。因此进行有效的探索以在图中找到有希望的推理路径是非常重要的。
   【提出了一个用户条件操作修剪策略，以减少操作空间的大小，同时保证推荐性能。】
3. 当agent搜索推荐图时，必须保持物品和路径的多样性，避免陷入物品的有限区域。
   【设计了一个策略引导的搜索算法，在推理阶段对推荐的推理路径进行采样。】

总结与感悟：
强化学习自己还没有系统地学习，导致看论文的时候比较困惑，进度很慢。接下来看论文的同时要进行机器学习、神经网络和强化学习的学习。