非常实用性的一个推荐新闻的模型
摘要：
新闻推荐非常重要，但是传统的基于用户id的协同过滤和低秩分解推荐算法不完全适用于新闻推荐，因为新闻类文章过期的太快了
基于单词的方法性能不错，但是有处理同义词和定义用户需求的问题
因此本文提出一种基于嵌入式的算法，基于一种去噪自编码器的变体的方法来表示文章；用RNN以浏览历史为输入序列表示用户；用内积计算来匹配用户和文章
1 introduction
新闻推荐的三个关键点：
- 理解文章内容
- 理解用户喜好
- 基于两者选出每个用户的文章列表
符合这三点的baseline模型是将文章表示成单词的word的集合，用户的表示是该用户浏览过的文章包含的word的集合，用候选文章和浏览历史比较共同出现的word来判断点击的概率，这个模型简单，容易学习；但是缺点是不能很好的判断近义词，也不能很好的更充分的利用用户的浏览历史
rnn擅长处理输入序列长度变化的情况，但是只用这个模型，不能符合要求的响应速度
所以本文提出的模型分为三步，端到端，分布式：
- - 基于去噪自编码器的分布式表示方法表示出文章
- - 以浏览历史为RNN的输入 生成用户表示
- - 用内积的方式匹配出用户和文章
该方法的核心就是用内积计算来衡量用户-文章的匹配度，非常快速。现在这种方法已经应用在雅虎日本的新闻推荐了
2、our service and process flow
本文针对的是雅虎日本app中用户定制模块的部分
用户登录时为用户选择匹配列表的过程如下：
- -登录时识别出更具浏览历史提前计算出的用户特征
- - 匹配：根据用户特征计算出所有可用的文章
- - 排序：根据一些特征优先级重新排序
- - 去重
- - 插入广告（如果需要的话）
这些过程非常的快
排序时除了考虑相关度，还会考虑文章的页码数以及新鲜程度等
用cos距离来计算文本的相似度，贪心的跳过重复的文章。如果一篇文章和优先级更高的文章的相似度超过一定值，就舍弃
3、artical representations
得到文章的表示方式
为了让输入的两篇文章x1,x2相近时得到的h1,h2内积之和大，对原本的去噪自编码器进行了修改，输入变为（x0,x1,x2）三元输入组，x0 x1是同类（相似）的文章，x2是不同的，在loss函数中添加惩罚来达到训练效果
得到的h就是后面要用来计算的
4、 user representation
通过用户的浏览历史来计算用户特征，包括的简单的word-based baseline模型，以及普通rnn形式、lstm形式和gru形式
其中a表示文章集合A中的一篇文章（用一种形式表示出来的），u表示一位用户，某个用户浏览的一系列文章就构成了用户u的浏览历史，用户通过推荐李彪点开文章才构成session，用s表示，下标p表示该文章在推荐列表中的位置
关键的目标是：
找到表示用户和文章相关性的函数R和通过浏览历史构建用户状态的函数F，满足上图的性质，其中P+表示推荐列表中用户点击过的文章，P-则是没有点击的
考虑到响应时间的限制，R必须是可以快速计算的，由于文章多而且时效端，也没法提前计算好；但是对于F却有比较充足的时间可以计算
因此，R就用内积计算来进行，
只需要优化表示用户状态的函数F：
由于实际中点击的概率跟文章在session中的位置有关系，所以加了一个bias
word-based模型
BoW词袋 建立一个大的词表V
相关性就是交集的单词有多少，有就+1
问题是非常稀疏，也不能处理同义词；由于浏览记录被认为是一个单词的集合，所以浏览的先后顺序和频率就丢失了
decaying model
使用第三部分所得的h来表示文章
用加权和来表示整个的浏览历史，这样根据系数可以调整浏览历史的权重
RNN model
简单RNN
毕竟decaying model是线性的，很多信息拿不到；而且ut是和上一个的状态ut-1有关系的，因此使用rnn模型
这里的激活函数用tanh，用随机梯度下降来优化
LSTM
GRU
5、 offline experiments
雅虎日本主页的数据，每个用户随机选择了超过两周的数据
结果：
6 deployment
向上部署以GRU的模型作为proposd bucket，以Bow模型为control bucket作对比（1%）
提前计算用户特征ut，当用户访问该服务时，用内积计算出一段时间内新出的新闻和用户的相关度
去重后按照从高到低相关性排序
线上的度量包括：sessions（用户每天使用推荐服务的平均时间） duration（看推荐列表以及点进去后的时间） clicks（在推荐列表中点进去的次数） CTR（点击数除以推荐列表中的展示出的文章数）
将用户分为重度、中度和轻度用户
结果很好
部署大规模基于深度学习的模型时会遇到一些挑战：
学习时间长；更新困难
因此是用两个模型轮流来，以便进行更新