西瓜书+实战+吴恩达机器学习（四）监督学习之线性回归 Linear Regression

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/zhq9695/article/details/87606025

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~

0. 前言

线性回归试图学得一个线性模型以尽可能准确的预测实值输出。

$f(x)=w^Tx+b$
其中， $x$为多元向量， $w$为权重向量， $b$为偏置。

1. 线性回归参数求解方法

梯度下降法：定义代价函数（例如：均方误差），按照梯度方向修改参数以最快降低代价函数， $w_j=w_j-\alpha\frac{1}{m}\sum_{i=1}^m(\hat{y}^{(i)}-y^{(i)})x_j^{(i)}$。

正规方程：通过 $\hat{w}=(X^TX)^{-1}X^Ty$直接求解，当矩阵不可逆时（多发生在 $n\geqslant m$时），可删除冗余的特征或采用正则化。

矩阵逆运算的时间复杂度通常为 $O(n^{3})$，所以当 n 较大时，建议使用梯度下降。

2. 线性回归正则化

2.1. 岭回归

L2范数正则化，又称作岭回归（ridge regression）。

正则化项表示为： $\lambda\left\|w\right\|_2^2$，对应正规方程表示为： $\hat{w}=(X^TX+\lambda I)^{-1}X^Ty$。

2.2. LASSO

L1范数正则化，又称作LASSO（Least Absolute Shrinkage and Selection Operator）。

扫描二维码关注公众号，回复： 5327680 查看本文章

正则化项表示为： $\lambda \left\|w\right\|_1$

L1范数正则化比L2范数正则化更容易获得稀疏解。

3. 局部加权线性回归

局部加权线性回归（Locally Weighted Linear Regression）给待测点附近的每个点赋予一定的权值。

高斯核函数表示为： $w(i,i)=\exp(-\frac{\left\|x^{(i)}-x\right\|^2}{2\sigma^2})$

建立权值矩阵 $W$，只含对角线元素，则正规方程表示为： $\hat{w}=(X^TWX)^{-1}X^TWy$。

4. 广义线性模型

广义线性模型（generalized linear model）定义为：
$y=g(w^Tx+b)$
其中， $g(\cdot)$称为联系函数，对数线性回归是 $g(\cdot)=\exp(\cdot)$。

---

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~