基于模型的推荐系统

4. 隐语义模型

4.1 矩阵分解

评分数据是高度相关的，数据的冗余可以让我们用低秩矩阵来近似原矩阵。隐语义模型目前是the state of art。
$U 为m \times k$ 的矩阵， $V 为n \times k$ 的矩阵，他两的乘积用以估计评分矩阵

\begin{matrix} (1) & R \approx U V^{T} \end{matrix}

$R\approx UV^T \tag1$
通过优化目标函数来求解U、V，即最小化残差矩阵

(2)

$(2)$

\begin{matrix} (2) & | | R - U V^{T} | |^{2} \end{matrix}

$||R-UV^T||^2\tag2$
矩阵分解讲原始的空间降维到k维，可以理解为：

\begin{aligned} r_{i j} & \approx u_{i} v_{j} \\ = \sum_{s = 1}^{k} u_{i s} \cdot v_{j s} \\ (3) & = \sum_{s = 1}^{k} (A f f i n i t y o f u s e r t o c o n c e p e t s) \times (A f f i n i t y o f i t e m t o c o n c e p e t s) \end{aligned}

$\begin{align} r_{ij}&\approx u_iv_j\notag\\ &=\sum_{s=1}^ku_{is}\cdot v_{js}\notag\\ &=\sum_{s=1}^k(Affinity\text{ }of \text{ }user\text{ } to\text{ } concepet\text{ } s)\times (Affinity\text{ }of \text{ }item\text{ } to\text{ } concepet\text{ } s)\tag3 \end{align}$

4.1.1batch update

目标函数

\begin{matrix} (5) & m i n J = \frac{1}{2} | | R - U V^{T} | |^{2}, \end{matrix}

$minJ=\frac{1}{2}||R-UV^T||^2,\tag5$
如上目标函数针对的是矩阵中木有缺失项，若有缺失项则不再适用

\begin{matrix} (6) & m i n J = \frac{1}{2} \sum_{i, j \in S} e_{i j}^{2} = \frac{1}{2} \sum_{i, j \in S} (r_{i, j} - \sum_{s = 1}^{k} u_{i s} \cdot v_{j s})^{2} \end{matrix}

$minJ=\frac{1}{2}\sum_{i,j\in S}e_{ij}^2=\frac{1}{2}\sum_{i,j\in S}(r_{i,j}-\sum_{s=1}^ku_{is}\cdot v_{js})^2\tag6$
公式

6

$6$ 只针对观测到的评分部分计算损失，梯度计算如下：

\begin{aligned} \frac{\partial J}{\partial u_{i q}} & = \sum_{j : (i, j) \in S} (r_{i, j} - \sum_{s = 1}^{k} u_{i s} \cdot v_{j s}) (- v_{j q}) \\ (7) & = \sum_{j : (i, j) \in S} e_{i j} (- v_{j q}) \end{aligned}

$\begin{align} \frac{\partial J}{\partial u_{iq}}&=\sum_{j:(i,j)\in S}(r_{i,j}-\sum_{s=1}^ku_{is}\cdot v_{js})(-v_{jq})\notag\\ &=\sum_{j:(i,j)\in S}e_{ij}(-v_{jq}) \tag7 \end{align}$

\begin{aligned} \frac{\partial J}{\partial v_{j q}} & = \sum_{j : (i, j) \in S} (r_{i, j} - \sum_{s = 1}^{k} u_{i s} \cdot v_{j s}) (- u_{i q}) \\ (8) & = \sum_{j : (i, j) \in S} e_{i j} (- u_{i q}) \end{aligned}

$\begin{align} \frac{\partial J}{\partial v_{jq}}&=\sum_{j:(i,j)\in S}(r_{i,j}-\sum_{s=1}^ku_{is}\cdot v_{js})(-u_{iq})\notag\\ &=\sum_{j:(i,j)\in S}e_{ij}(-u_{iq}) \tag8 \end{align}$
令E为残差矩阵，可以使用如下公式计算U，V

\begin{matrix} (9) & E = R - U V^{T} \end{matrix}

$E=R-UV^T\tag9$

\begin{matrix} (10) & U \leftarrow U + α E V \end{matrix}

$U\leftarrow U+\alpha EV\tag{10}$

\begin{matrix} (11) & V \leftarrow V + α E^{T} U \end{matrix}

$V\leftarrow V+\alpha E^TU\tag{11}$

4..1.2 SGD

随机选择评分， $r_{ij}$

\begin{matrix} (12) & u_{i q} \leftarrow u_{i q} - α [\frac{\partial J}{\partial u_{i q}}] = u_{i q} + α * e_{i j} * v_{j q} \end{matrix}

$u_{iq}\leftarrow u_{iq}-\alpha[\frac{\partial J}{\partial u_{iq}}]=u_{iq}+\alpha*e_{ij}*v_{jq}\tag{12}$

\begin{matrix} (13) & v_{j q} \leftarrow v_{j q} - α [\frac{\partial J}{\partial v_{i q}}] = v_{j q} + α * e_{i j} * u_{i q} \end{matrix}

$v_{jq}\leftarrow v_{jq}-\alpha[\frac{\partial J}{\partial v_{iq}}]=v_{jq}+\alpha*e_{ij}*u_{iq}\tag{13}$
可以表示为向量形式：

\begin{matrix} (14) & u_{i} \leftarrow u_{i} + α * e_{i j} * v_{j} \end{matrix}

$u_i\leftarrow u_i+\alpha*e_{ij}*v_j\tag{14}$

\begin{matrix} (15) & v_{j} \leftarrow v_{j} + α * e_{i j} * u_{i} \end{matrix}

$v_j\leftarrow v_j+\alpha*e_{ij}*u_i\tag{15}$
随机梯度下降收敛的速度更快，而批更新策略更平滑，这是由于批更新使用了全部的数据来进行梯度计算，而随机梯度下降每次只使用一个评分，带来了噪声。
随机梯度下降在计算是瓶颈，数据量很大的情况下。

4.1.3 正则

目标函数：

\begin{matrix} (16) & m i n J = \frac{1}{2} | | R - U V^{T} | |^{2} + \frac{λ}{2} | | U | |^{2} + \frac{λ}{2} | | V | |^{2} \end{matrix}

$minJ=\frac{1}{2}||R-UV^T||^2+\frac{\lambda}{2}||U||^2+\frac{\lambda}{2}||V||^2\tag{16}$

\begin{aligned} \frac{\partial J}{\partial u_{i q}} & = \sum_{j : (i, j) \in S} (r_{i, j} - \sum_{s = 1}^{k} u_{i s} \cdot v_{j s}) (- v_{j q}) + λ u_{i q} \\ (17) & = \sum_{j : (i, j) \in S} e_{i j} (- v_{j q}) + λ u_{i q} \end{aligned}

$\begin{align} \frac{\partial J}{\partial u_{iq}}&=\sum_{j:(i,j)\in S}(r_{i,j}-\sum_{s=1}^ku_{is}\cdot v_{js})(-v_{jq})+\lambda{u_{iq}}\notag\\ &=\sum_{j:(i,j)\in S}e_{ij}(-v_{jq}) +\lambda{u_{iq}}\tag{17} \end{align}$

\begin{aligned} \frac{\partial J}{\partial v_{j q}} & = \sum_{j : (i, j) \in S} (r_{i, j} - \sum_{s = 1}^{k} u_{i s} \cdot v_{j s}) (- u_{i q}) + λ v_{j q} \\ (18) & = \sum_{j : (i, j) \in S} e_{i j} (- u_{i q}) + λ v_{j q} \end{aligned}

$\begin{align} \frac{\partial J}{\partial v_{jq}}&=\sum_{j:(i,j)\in S}(r_{i,j}-\sum_{s=1}^ku_{is}\cdot v_{js})(-u_{iq})+\lambda v_{jq}\notag\\ &=\sum_{j:(i,j)\in S}e_{ij}(-u_{iq})+\lambda v_{jq}\tag{18} \end{align}$
带有正则项的批更新：

\begin{matrix} (19) & U \leftarrow U (1 - α λ) + α E V \end{matrix}

$U\leftarrow U(1-\alpha\lambda)+\alpha EV\tag{19}$

\begin{matrix} (20) & V \leftarrow V (1 - α λ) + α E^{T} U \end{matrix}

$V\leftarrow V(1-\alpha\lambda)+\alpha E^TU\tag{20}$
带有正则的随机梯度更新：

\begin{matrix} (21) & u_{i} \leftarrow u_{i} + α (e_{i j} * v_{j} - λ u_{i}) \end{matrix}

$u_i\leftarrow u_i+\alpha(e_{ij}*v_j-\lambda u_i)\tag{21}$

v_{j} \leftarrow v_{j} + α (e_{i j} * u_{j} - λ v_{j})

$v_j\leftarrow v_j+\alpha(e_{ij}*u_j-\lambda v_j)$

4.1.4 ALS + 坐标下降

ALS
+ 固定V，把V当作常量，更新U
+ 固定U，把U当作常量，更新V
+ 与随机梯度相比，效率不够高，尤其是隐反馈问题上，稳定性高

坐标下降
+ 固定所有方向的向量，只留下一部分更新

4.1.5 偏置

\begin{matrix} (22) & {\hat{r}}_{i j} = o_{i} + p_{j} + \sum_{s = 1}^{k} u_{i s} * v_{j s} \end{matrix}

$\hat r_{ij} =o_i+p_j+\sum_{s=1}^ku_{is}*v_{js}\tag{22}$

\begin{matrix} (23) & e_{i j} = r_{i j} - o_{i} - p_{j} - \sum_{s = 1}^{k} u_{i s} * v_{j s} \end{matrix}

$e_{ij} =r_{ij}-o_i-p_j-\sum_{s=1}^ku_{is}*v_{js}\tag{23}$
将其加入U，V矩阵中

\begin{matrix} (24) & u_{i, k + 1} = o_{i} \end{matrix}

$u_{i,k+1}=o_i\tag{24}$

\begin{matrix} (25) & u_{i, k + 2} = 1 \end{matrix}

$u_{i,k+2}=1\tag{25}$

\begin{matrix} (26) & v_{i, k + 1} = 1 \end{matrix}

$v_{i,k+1}=1\tag{26}$

\begin{matrix} (27) & v_{i, k + 1} = p_{j} \end{matrix}

$v_{i,k+1}=p_j\tag{27}$
目标函数：

\begin{matrix} (28) & M i n i m i z e J = \frac{1}{2} (\sum_{(i, j) \in S} (r_{i j} - \sum_{s = 1}^{k + 2} u_{i s} * v_{j s})^{2} + \frac{1}{2} \sum_{s = 1}^{k + 2} (\sum_{i = 1}^{m} u_{i s}^{2} + \sum_{i = 1}^{n} v_{j s}^{2}) s . t . (k + 2) th column of U is 1 (k + 1) th column of V is 1 \end{matrix}

$Minimize J=\frac{1}{2}(\sum_{(i,j)\in S}(r_{ij}-\sum_{s=1}^{k+2}u_{is}*v_{js})^2+ \frac{1}{2}\sum_{s=1}^{k+2}(\sum_{i=1}^mu_{is}^2+\sum_{i=1}^nv_{js}^2)\tag{28}\\ s.t.(k+2)\text{th column of U is 1}\\ (k+1)\text{th column of V is 1}$

4.1.6 结合隐反馈

对于评分矩阵 $R$ ,将其转化为隐反馈矩阵 $F,m\times n$ ，非零的部分设为1，然后对每行进行归一化，使得他们的平方和为1
矩阵 $Y,n\times k$ 为隐物品因子矩阵，用户隐因子可以表示为 $FY$ ，用户的倾向可以用其行为的线性组合来表示（已评分物品隐因子的线性组合）
$R\approx [FY]V^T$ ，其中 $Y$ 为隐反馈物品隐因子矩阵，而 $V$ 为显反馈物品隐因子矩阵
这种表示往往能带来更优秀的性能，这种方法将用户隐因子表示为物品隐因子的线性组合降低了用户因子的冗余
用户如果有相似的评分物品，不管他们的评分分数，他们的用户因子应该相似
这种方法可以结合其他的独立的隐因子矩阵，不需要正则化项
降低的维度， $n\ll m$
可解释性 $FY]V^T$ 可以写成 $F[YV^T]$ ，可以视为物品物品预测矩阵， $[YV^T]_{ij}$ 表明了物品i的评分如何影响物品j，而矩阵F表明了 $m\times n$ 用户到物品的系数
SVD++
- 上述用户因子不会受用户评分的影响，只要评分过的物品相同，他们的隐因子就相同
- $R\approx [U+FY]V^T$

4.2 奇异值分解

4.2.1 SVD

\begin{matrix} (1) & R \approx Q_{k} Σ_{k} P_{k}^{T} \end{matrix}

$R\approx Q_k\Sigma_kP_k^T\tag{1}$
+

Q_{k}, Σ_{k}, P_{k}^{T}

$Q_k,\Sigma_k,P_k^T$ 分别为

m \times k, k \times k, 与 n \times k

$m\times k,k\times k,与n\times k$ 的矩阵，

Q_{k}

$Q_k$ 与

P_{k}

$P_k$ 分别包含了

R R^{T}

$RR^T$ 与

R^{T} R

$R^TR$ 最大的k的个特征向量，而

Σ_{k}

$\Sigma_k$ 为k个最大特征向量对应特征值的正平方根
+

R R^{T}

$RR^T$ 与

R^{T} R

$R^TR$ 的非零特征值是相同的，他们有着不同数目的零特征值，

m \neq n

$m\neq n$
+

P_{k}

$P_k$ 包含了

R^{T} R

$R^TR$ 最大的k个特征值对应的特征向量，特征向量蕴含了物品之间在评分方向上的联系，因此它们可以起到降维的作用
+

Q_{k} Σ_{k}

$Q_k\Sigma_k$ 为原矩阵转化之后的形式（

m \times k

$m\times k$ ），把

P_{k}^{T}

$P_k^T$ 看做基，那么

Q_{k} Σ_{k}

$Q_k\Sigma_k$ 可以看做用户评分在隐向量上的一维表示
+ 几何意义：将一个向量从正交基空间

P_{k}

$P_k$ 旋转到

Q_{k}

$Q_k$ ，并按

Σ_{k}

$\Sigma_k$ 方向在各方向进行缩放
+ SVD与MF对比
+

U = Q_{k} Σ_{k}

$U=Q_k\Sigma_k$
+

V = P_{k}

$V=P_k$
+

M i n i m i z e J = \frac{1}{2} | | R - U V^{T} | |^{2} s . t . columns of U are orthogonal, columns of V are orthogonal

$Minimize J =\frac{1}{2}||R-UV^T||^2 s.t. \text{columns of U are orthogonal, columns of V are orthogonal}$
+ 在无缺失的矩阵上，SVD与unconstrained MF最优解是一致的，而在缺失的问题上，unconstrained MF在已观测的评分性能更优，在为观测的二者谁更优秀无法评价

4.2.2 简单迭代

- mean center，对于每行的均值排序用于之后重构矩阵 $R\rightarrow R_c$
- 将 $R_c$ 缺失的部分设为0，（等价于将缺失的部分设置为用户平均评分）
- 对 $R_c$ 进行分解， $R_c=Q_k\Sigma_kP_k^T$ ，则 $U=Q_k\Sigma_k,V=P_k$
- $\hat{r}_{ij}=u_iv_j+\mu_i$
- 这一方法的缺点主要是，将缺失部分替换为均值会带来一定的偏差
- 初始化第i行缺失的部分为 $\mu_i$ 来初始化 $R_f$
- 对于 $R_k$ 进行奇异值分解
- 调整缺失部分为 $Q_k\Sigma_kP_k^T$ 重新迭代
- 这种方法在缺失值很多的情况下会陷入局部最优点

4.2.3 基于优化的方法

基于迭代的方法代价十分高，因为需要完全给定矩阵的每个位置的值，更有效的方法是在优化中引入正交性

\begin{aligned} M i n i m i z e J & = \frac{1}{2} \sum_{(i, j) \in S} (r_{i j} - \sum_{s = 1}^{k} u_{i s} \cdot v_{j s})^{2} + \frac{λ_{1}}{2} \sum_{i = 1}^{m} \sum_{s = 1}^{k} u_{i s}^{2} + \frac{λ_{2}}{2} \sum_{j = 1}^{n} \sum_{s = 1}^{k} v_{j s}^{2} \\ s . t . \\ columns of U are orthogonal, columns of V are orthogonal \\ (2) & columns of V are orthogonal, columns of V are orthogonal \end{aligned}

$\begin{align} Minimize J&=\frac{1}{2}\sum_{(i,j)\in S}(r_{ij}-\sum_{s=1}^ku_{is}\cdot v_{js})^2+\frac{\lambda_1}{2}\sum_{i=1}^m\sum_{s=1}^ku_{is}^2+\frac{\lambda_2}{2}\sum_{j=1}^n\sum_{s=1}^kv_{js}^2\notag\\ &s.t. \notag\\ &\text{columns of U are orthogonal, columns of V are orthogonal}\notag\\ &\text{columns of V are orthogonal, columns of V are orthogonal}\tag{2}\\ \end{align}$
可以使用投影梯度下降(projected gradient descent)的方法来优化

4.3 非负矩阵分解

这一方法具有较高的可解释性，应用于非负评分中，即没有负向情感的评分矩阵

\begin{matrix} (1) & M i n i m i z e J = \frac{1}{2} | | R - U V^{T} | |^{2} s . t . U \geq 0, V \geq 0 \end{matrix}

$Minimize J = \frac{1}{2} ||R-UV^T||^2s.t.U\geq0,V\geq0\tag1$

\begin{matrix} (2) & u_{i j} \leftarrow \frac{(R V)_{i j} u_{i j}}{(U V^{T} V)_{i j} + η} \end{matrix}

$u_{ij}\leftarrow \frac{(RV)_{ij}u_{ij}}{(UV^TV)_{ij}+\eta}\tag2$

\begin{matrix} (3) & v_{i j} \leftarrow \frac{(R^{T} U)_{i j} v_{i j}}{(V U^{T} U)_{i j} + η} \end{matrix}

$v_{ij}\leftarrow \frac{(R^TU)_{ij}v_{ij}}{(VU^TU)_{ij}+\eta}\tag3$