正则化(regularized)是什么？过拟合又是什么？

不哔哔，机器学习里的正则化，它是为了解决过拟合提出的。

一 背景

正则化是为了解决过拟合问题而提出的。regularization，让它正常，不要那么不正常了，那么这个不正常体现在那里呢，目前[2020-5-15]来看，不就是它过拟合了，不像正常的那样了。

二 过拟合

过拟合是什么呢？
过拟合从字面意义上看，就是拟合过度了，什么才叫拟合过度呢？看下图。一个点，有好多情况，你得到的曲线，只适合某一种样本点，其他样本点适应性极差。

• 从数据角度分析：首先， $X$是样本数据阵，它是一个N*P维的矩阵，N表示的样本的数量，P维表示的是每一个样本的状态数，就是N个样本，每个样本是p维的。然后，理论上应该样本数N应该远大于样本的维数P，但是，实际中可能仅有几个样本，出现N<P的情况，那么就会造成过拟合
• 从数学角度分析：最小二乘法求得的 $w=(X^TX)^{-1}X^TY$中式子 $X^TX$可能是不可逆的，就会直接造成过拟合。

解决过拟合的方法：

• 增加样本数量
• 特征选择/特征提取，实际就是降维，降低p的维数。PCA
• 正则化，对w约束，改变w的形式，把 $(X^{T}X)^{-1}$改造成一个绝对可逆的式子。

正则化分为两种

1. L1 -> Lasso
2. L2 -> Ridge

三 过拟合Vs正则化

将不可逆变为可逆即为正则化

为什么需要正则化，首先正则化出现的背景是最小二乘法 $w=(X^TX)^{-1}X^TY$中式子 $X^TX$可能是不可逆的，从数学角度分析就是X为N*p维的矩阵，N表示样本数，p是Xi的状态向量数，在实际应用中，可能测得的样本数很少，出现了N<P的情况，即 $X^TX$不可逆，那么w就求不来。

这样不可逆会导致什么后果呢。答，会引起过拟合。因为如果样本数过少，那么拟合的方法就会有很多。出现错误的几率就会很高。

怎么解决这个问题提，答，引入正则化。正则化实际上就是给最小二乘法的损失函数(Loss Function)L(w)加一个框架，得到一个新的函数J(w)，其中 $J(w)=L(w)+\lambda P(w)$。这样求出的w就会绝对可逆。

参考资料

[1] shuhuai008. 【机器学习】【白板推导系列】【合集 1～23】. bilibili. 2019.
https://www.bilibili.com/video/BV1aE411o7qd?p=9