线性回归之最小二乘法推导及python实现

前言

本文章为个人的学习笔记。学习书籍《机器学习》（周志华著，俗称西瓜书）。

线性模型基本形式

首先是最基本的线性模型：
$f( \textbf{x} )=w_1x_1+w_2x_2+w_3x_3+...+w_nx_n+b$

化简成向量形式
$f( \textbf{x})= \textbf{x}\textbf{w} +b$ $f( \textbf{x})\approx y$

其中 $\textbf{x}=(x_1,x_2,x_3,...,x_n)$， $x_i$ 代表 $\textbf{x}$的第i个属性。而 $\textbf{w}=(w_1;w_2;w_3;...;w_n)$对应于 $\textbf{x}$ 不同属性的系数。其中 $y$代表了数据 $\textbf{x}$的真实情况，而 $f(\bf{x})$得到的是对 $\textbf{x}$的预测值，我们通过 $(y，\textbf{x})$对模型进行训练，力求通过线性模型 $f(\bf{x})$来对 $y$未知的数据进行预测。

为了计算方便，令：
$\textbf{x}=(x_1,x_2,x_3,...,x_n,1)$ $\textbf{w}=(w_1;w_2;w_3;...;w_n;b)$

线性模型就写成如下形式：
$f( \textbf{x})= \textbf{w} \textbf{x}$

模型评估

线性回归的目标就是要找到一个最合适的模型来使得预测的准确度最大化。此时就需要找到最合适的 $\textbf{w}$来使模型的到的预测值尽可能的接近真实值 $y$。

如何判断一个模型是否是一个好的模型，我们需要用到模型的评估方程：
$J(\textbf{w})=\sum_{i=1}^n{(f(\bf{x_i})-y_i)^2}$
每一个 $y_i$对应与一个 $\bf{x_i}=(x_{i1},x_{i2},x_{i3},...,x_{in})$
可令：
$Y=(y_1;y_2;y_3;...;y_n)$ $X=(\bf{x_1};\bf{x_2};\bf{x_3};...;\bf{x_n})$
评估方程为：
$J(\textbf{w})=(Y-X\textbf{w})^T(Y-X\textbf{w})$

寻找最优解

当 $J(\textbf{w})$取值最小时可得到最优模型，因此我们对 $J(\textbf{w})$求导：
$J(w)^{'}=2(Y-X\textbf{w})^TX$
令 $J(w)^{'}=0$，可求得：
$\textbf{w}=(XX^T)^{-1}X^TY$
上面的方程也就是著名的最小二乘法。当矩阵较大时，用最小二乘法计算量会非常大，此时用梯度下降法或者牛顿法来进行替代。

python实现最小二乘法

def Fun(x,y):
    return dot(dot(inv(dot(x,x.T)),x.T),y)