11月1日学习 岭回归 最小二乘法 无偏估计 范数

好气！编辑中怎么可以退后上一步操作，刚刚因为一个误操作编辑了好多的东西都没了，气！

哈达玛积(Hadamard product)

矩阵中元素相乘

岭回归

岭回归，又称脊回归、吉洪诺夫正则化（Tikhonov regularization），是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。

岭回归是对最小二乘回归的一种补充，它损失了无偏性，来换取高的数值稳定性，从而得到较高的计算精度。

参考百度百科

当设计矩阵X存在多重共线性的时候（数学上称为病态矩阵），最小二乘法求得的参数w在数值上会非常的大，而一般的线性回归其模型是 y=wTx ，显然，就是因为w在数值上非常的大，所以，如果输入变量x有一个微小的变动，其反应在输出结果上也会变得非常大，这就是对输入变量总的噪声非常敏感的原因。

如果能限制参数w的增长，使w不会变得特别大，那么模型对输入w中噪声的敏感度就会降低。这就是脊回归和套索回归（Ridge Regression and Lasso Regrission）的基本思想。

为了限制模型参数w的数值大小，就在模型原来的目标函数上加上一个惩罚项，这个过程叫做正则化（Regularization）

强烈推荐参考CSDN博客 很详细

最小二乘法

基于均方误差最小化来进行模型求解的方法称为最小二乘法，在线性回归中，最小二乘法就是试图找到一条直线，是所有样本到直线上的欧氏距离和最小。

参考《机器学习 周志华》P54

无偏估计

样本均值 也是一个随机变量，当样本均值的期望等于总体均值时，即 ，就说样本均值是总体均值的无偏估计量

参考 知乎

多重共线性（复共线性）

参考 简书

范数

范数分为向量范数和矩阵范数

0范数，向量中非零元素的个数。


1范数，为绝对值之和。


2范数，就是通常意义上的模。

• 向量范数
  

1-范数：

，即向量元素绝对值之和，matlab调用函数norm(x, 1) 。

2-范数：

，Euclid范数（欧几里得范数，常用计算向量长度），即向量元素绝对值的平方和再开方，matlab调用函数norm(x, 2)。

-范数：，即所有向量元素绝对值中的最大值，matlab调用函数norm(x, inf)。

-范数：

，即所有向量元素绝对值中的最小值，matlab调用函数norm(x, -inf)。

p-范数：
，即向量元素绝对值的p次方和的1/p次幂，matlab调用函数norm(x, p)。

• 矩阵范数
  

1-范数：
， 列和范数，即所有矩阵列向量绝对值之和的最大值，matlab调用函数norm(A, 1)。

2-范数：，为的最大特征值。

，谱范数，即A'A矩阵的最大特征值的开平方。matlab调用函数norm(x, 2)。

-范数：

，行和范数，即所有矩阵行向量绝对值之和的最大值，matlab调用函数norm(A, inf)。

F-范数：

，Frobenius范数，即矩阵元素绝对值的平方和再开平方，matlab调用函数norm(A, ’fro‘)。

核范数：是A的奇异值。

即奇异值之和。

作者：魏通
链接：https://www.zhihu.com/question/20473040/answer/102907063
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

参考 知乎