矩阵分解算法（Matrix Factorization）是最常用于推荐系统的协同过滤算法之一。这一系列的算法曾经是推荐系统中使用的主流算法，即使在现在也在很多地方有用。这里简单地梳理从最基础的matrix factorization（MF）算法到它衍生出来的probabilistic matrix factorization（PMF）的思路，具体解法可以参看推荐算法——基于矩阵分解的推荐算法和概率矩阵分解这两个blog。

Matrix Factorization

简单地说，MF 可以认为是 Latent Factor Model 思想指导下的一种解决问题的思路，而 latent factor model 其实属于协同过滤方法的一个分支。笔者在之前的文章中介绍过协同过滤方法。

在协同过滤方法中，我们提到了 user-item-preference 矩阵的存在。Latent factor model 的主要思路就是认为存在某些不可见的、代表用户偏好的隐变量，用户的偏好可以被这些隐变量完全代表，这些隐变量也能决定用户对item的偏好。表现在 user-item-preference 矩阵中，即为我们可以将 user-item-preference 矩阵分解为两个矩阵的乘积。

假设我们有 $N$ 个user， $M$ 个item， $D$ 个隐变量，将 user-item-preference 矩阵用 $R^{N*M}$ 来表示, $U^{D*N}$ 表示user对latent factor的矩阵， $V^{D*M}$ 表示item对latent factor的矩阵。在latent factor model的假设下，矩阵分解算法可以表示为 $R \approx U^T * V = \hat{R}$ 。具体来说，对于 $R$ 中的每个 $r_{i,j}$ ，都有 $r_{i,j} \approx \hat{r_{i,j}} = \sum_{d}^{D}{u_{d,i} * v_{d, j}}$ ，即 $e_{i,j} = r_{i, j} - \sum_{d}^{D}{u_{d,i} * v_{d, j}}$ 。