【MachineLearning】之 多项式回归（理论）

Topic:

1. 多项式回归简介
2. 多项式拟合
3. 多项式特征矩阵

之前学习了 线性回归，那么多项式回归又是什么呢？

一、多项式回归简介

---

在线性回归中，我们通过建立自变量 x 的一次方程来拟合数据

而非线性回归中，则需要建立因变量和自变量之间的非线性关系。

从直观上讲，也就是拟合的直线变成了「曲线」。

对于非线性回归问题而言，最常见的便是「多项式回归」

多项式：$x^3 - 2xyz^2 + 2yz + 1$

二、多项式拟合

---

一元高阶多项式函数：

$$y(x, w) = w_0 + w_1x + w_2x^2 +...+w_mx^m = \sum\limits_{j=0}^{m}w_jx^j \tag{1}$$

其中，$m$ 表示多项式的阶数，$x^j$表示 $x$ 的 $j$次幂，$w$ 则代表该多项式的系数。

当我们使用上面的多项式去拟合散点时，需要确定两个要素，分别是：多项式系数 $w$ 以及多项式阶数 $m$

可以看到当 m=8 时，曲线呈现出明显的震荡，这就是过拟合（overfitting）

那什么是过拟合？过拟合不好吗？

过拟合：由于学习能力过于强大，以至于把训练样本所包含的不太一般的特性学到了。

过拟合不好？ 因为只是把潜在样本的特征考虑进去了，并没有增强学习能力。

三、多项式特征矩阵

---

多项式回归相当于线性回归的特殊形式。

比如：一元二次多项式：$y = w_0 + w_1x+ w_2x^2$

将其转换为：$y = w_0 + w_1 * x_1 + w_2 * x_2$ （$x = x_1$ $x^2 = x_2$）
这样就变成了多元线性回归。

这样就实现了 一元高次多项式到多元一次多项式之间的转换

之前，我们通过 $y = wx + b$ 线性回归模型进行拟合。
同样，$y = w_0 + w_1x + w_2x^2$，若能得到由 $x = x_1, x^2=x_2$构成的特征矩阵，那也就可以通过线性回归进行拟合了。