协同过滤算法处理稀疏矩阵的能力比较弱，为增强泛化能力， 从协同过滤中衍生出矩阵分解模型(MF)或者叫隐语义模型。
隐语义模型最早在文本领域被提出，用于找到文本的隐含语义。2006年用于推荐中， 核心思想是通过隐含特征联系用户兴趣和物品，基于用户的行为找出潜在的主题和分类。
矩阵分解算法的求解：特征值分解(EVD)或者奇异值分解(SVD）
Simon Funk公布了一个矩阵分解算法叫做Funk-SVD, 后来被Netflix Prize的冠军Koren称为Latent Factor Model(LFM)。 Funk-SVD的思想很简单： 把求解上面两个矩阵的参数问题转换成一个最优化问题，可以通过训练集里面的观察值利用最小化来学习用户矩阵和物品矩阵。
此处感觉用的是普通最小二乘法，得到偏导数，但是不去直接算回归系数，而是通过偏导数及学习率得到新的预测值。
此处是不是用右式去替代左边的值，因为数学公式上应该有个下标增加1之类。
考虑了加一些影响因素改进偏好函数，得到：
编程实现：
class SVD():
def init(self, rating_data, F=5, alpha=0.1, lmbda=0.1, max_iter=100):
self.F = F # 这个表示隐向量的维度
self.P = dict() # 用户矩阵P 大小是[users_num, F]
self.Q = dict() # 物品矩阵Q 大小是[item_nums, F]
self.bu = dict() # 用户偏差系数
self.bi = dict() # 物品偏差系数
self.mu = 0.0 # 全局偏差系数
self.alpha = alpha # 学习率
self.lmbda = lmbda # 正则项系数
self.max_iter = max_iter # 最大迭代次数
self.rating_data = rating_data # 评分矩阵
初始化矩阵P和Q, 方法很多， 一般用随机数填充， 但随机数大小有讲究， 根据经验， 随机数需要和
1/sqrt(F)成正比
cnt = 0 # 统计总的打分数， 初始化mu用
for user, items in self.rating_data.items():
self.P[user] = [random.random() / math.sqrt(self.F) for x in range(0, F)]
self.bu[user] = 0
cnt += len(items)
for item, rating in items.items():
if item not in self.Q:
self.Q[item] = [random.random() / math.sqrt(self.F) for x in range(0, F)]
self.bi[item] = 0
self.mu /= cnt
#有了矩阵之后， 就可以进行训练, 这里使用随机梯度下降的方式训练参数P和Q
def train(self):
for step in range(self.max_iter):
for user, items in self.rating_data.items():
for item, rui in items.items():
rhat_ui = self.predict(user, item) # 得到预测评分
计算误差
e_ui = rui - rhat_ui
self.bu[user] += self.alpha * (e_ui - self.lmbda * self.bu[user])
self.bi[item] += self.alpha * (e_ui - self.lmbda * self.bi[item])
随机梯度下降更新梯度
for k in range(0, self.F):
self.P[user][k] += self.alpha * (e_uiself.Q[item][k] - self.lmbda *
self.P[user][k])
self.Q[item][k] += self.alpha * (e_uiself.P[user][k] - self.lmbda *
self.Q[item][k])
self.alpha *= 0.1 # 每次迭代步长要逐步缩小
预测user对item的评分， 这里没有使用向量的形式
def predict(self, user, item):
return sum(self.P[user][f] * self.Q[item][f] for f in range(0, self.F)) + self.bu[user] +
self.bi[item] + self.mu
很多时候矩阵非常的稀疏， 如果用pandas的话， 会出现很多
Nan的值， 反而不好处理，采用字典存放数据。