机器学习基石笔记：09 Linear Regression(LR)

原文地址：https://www.jianshu.com/p/4f5a151fb633

最小化线性回归的样本内代价函数值：

线性回归算法泛化可能的保证：

根据矩阵的迹的性质：\(trace(A+B)=trace(A)+trace(B)\)，得：
\(\begin{equation}\begin{aligned} trace(I-H)&=trace(I_{N*N})-trace(H)\\&=N-trace(XX^+)\\&=N-trace(X^T X(X^T X)^{-1})\\&=N-trace(I_{(d+1)*(d+1)})\\&=N-(d+1) \end{aligned}\end{equation}\)。
\(I-H\)这种转换的物理意义：
原来有一个有\(N\)个自由度的向量\(y\)，投影到一个有\(d+1\)维的空间\(X\)（代表一列的自由度，即单一输入样本的参数），而剩余的自由度最大只有\(N-(d+1)\)。

线性分类是近似求解，线性回归是解析求解；
线性分类中使用0/1误差，线性回归中使用均方误差；
误差方面，线性分类能小于线性回归，但线性回归速度更快；
可以用线性回归的参数结果初始化线性分类的参数值，
减少迭代过程，加速求解。