线性回归（内有最小二乘法）

关键字：最小二乘法，多重共线性现象

1、定义

所谓回归，就是确定自变量和因变量之间的对应关系，线性回归对于给定的X和Y，把焦点放在给定的x对应的y的概率分布，而不是x和y的联合概率分布。所以线性回归关注的是y。

一个比较特殊的线性回归模型：逻辑模型（Logistic Regression）这是一个用于分类的线性回归模型

2、优点

线性回归模型比非线性回归模型更容易拟合，并且产生的估计的统计特征也非常稳定。所以线性回归应该优先考虑。

3、用途

3.1、预测

3.2、相关性分析

给出一个y和一些变量X1,X2,…,XP，这些变量和y可能不相关，也可能相关，可以用线性回归模型量化y与Xi的相关强度。

（突然间想起信息熵，那个也与相关强度有关）

4.线性回归与最小二乘法

线性回归经常用最小二乘法拟合，二者很逼近，但是不可以画等号。

5.最小平方误差

要求误差的平方和最小，作为理想的线性方程的准则。这不就是最小二乘法吗？

衣蛾

下面是线性回归里的第一个应用：预测

1线性回归模型

最简单的模型，就是模型是参数的线性组合。较为复杂的模型就是使用输入变量x的基函数f(x)的线性组合来构造模型。注意这里的简单的模型的基函数是输入变量x的各个分量，而较为复杂的模型的基函数是输入变量x的各个分量的组合，不一定是线性组合，可能选择其中的部分分量组成f(x)，也可能只选一个。

较为复杂的模型可以看成参数的线性组合，可以看成各个分量的非线性组合。

2.与GPR

就是预测条件分布p(t|x)，该分布可以反映对于一个t，基于这个条件概率分布对输入x估计其对应的t的过程，就是最小化损失函数（loss function）的期望的过程。还是一个最小化误差的平方和的过程，有没有很像最初的说说高斯过程回归？但是那个高斯过程回归没有考虑最小化误差的平方，只有正则化，而且是假设他们服从多变量高斯分布的。突然间想起贝叶斯线性回归预测p(seta|x)的，它是估计参数的。

3.最小二乘法

最小二乘法还可以拟合非线性模型，最小二乘法就是最小化误差的平方和来寻找最优的函数。最小二乘法的matlab实现：ployfit(x,y)为线性拟合，ployfit(x,y,n)为n次多项式拟合，他们本质上都是通过最小化误差的平方和得到最理想的函数。

目的问题或者损失函数定义为：

可以与数值线性代数的最小二乘法联系起来：

数值线性代数里，求解Ax=b，如果这里的A的行大于列，采用普通最小二乘法，使得残量最小，如果残量用二范数表示，即误差的平方和最小，化简后就是一个超定方程组。要求解x，即，最终结果为，该推导方法就是基于最小二乘法的思想的。

但是线性回归我们要求的不是X而是系数。即，这里的是基函数，式子展开如下：

也可以上述的方法求解,此时就是，问题在于如果中有线性相关或者近线性相关的类，那么就会变成一个奇异（病态）矩阵，导致最小二乘法对观测数据非常敏感，使得最后的线性模型产生极大误差，在这个现象叫做“多重共线性”现象，使得求出来的让y对x的噪声非常敏感。这个问题怎么解决呢？参见《Ridge Rggression》