岭回归直接得到最优解的公式推导

多元线性回归

下面是线性回归的公式推导，没有加上 L2 正则化因子。
假设 $\hat y = Xw$，
因为
$\begin{aligned} L(w) &= ||\hat y - y||_2^2=||Xw-y||_2^2 \\ &= (Xw-y)^T(Xw-y) \\ &= w^TX^TXw - y^TXw - w^TX^Ty-y^Ty, \end{aligned}$
所以
$\frac{\partial L(w)}{\partial w}= 2X^TXw-X^Ty-X^Ty,$
令 $\frac{\partial L(w)}{\partial w}=0$，得
$w=(X^TX)^{-1}X^Ty.$

岭回归

• 上面定义的 $L(w) =||\hat y - y||_2^2$ 是经验风险，在经验风险的基础上加上表示模型复杂度的正则化项（regularization）或者惩罚项（penalty term），即结构风险。所以线性回归是经验风险最小化，岭回归是结构风险最小化（参考：李航《统计学习方法》P9关于“经验风险最小化”与“结构风险最小化”一节的叙述）；
• 岭回归其实就是在损失函数上加上了一个 L2 正则，使得权重不会太大；
• 如果某些特征权重比较大的时候，自变化变化一点点，就会导致因变量变化很大，使得方差变大，有过拟合风险。

此时损失函数变为：

$\begin{aligned} L(w) &= ||\hat y - y||_2^2 + \lambda ||w||^2_2 =||Xw-y||_2^2 + \lambda w^Tw\\ &= (Xw-y)^T(Xw-y) + \lambda w^Tw\\ &= w^TX^TXw - y^TXw - w^TX^Ty-y^Ty + \lambda w^Tw, \end{aligned}$

所以，

$\frac{\partial L(w)}{\partial w}= 2X^TXw-X^Ty-X^Ty + 2 \lambda w,$
令 $\frac{\partial L(w)}{\partial w}=0$，得
$w=(X^TX + \lambda E)^{-1}X^Ty.$

这里 $E$ 是一个单位矩阵。

参考资料：

1、岭回归原理及代码实现
https://blog.csdn.net/computerme/article/details/50486937
2、矩阵求导公式，及MathJax公式编辑
https://blog.csdn.net/lilong117194/article/details/77418269
3、MathJax基本的使用方式
https://blog.csdn.net/u010945683/article/details/46757757