ISLR读书笔记十三：非线性回归

前言

之前介绍的主要是线性回归的方法，本篇主要讲述一些非线性回归的方法，主要基于的方法是基函数（basic functions），即拟合模型：
$$y_i={\beta }_0+{\beta }_1{b}_1\left(x_i\right)+{\beta }_2{b}_2\left(x_i\right)+{\beta }_3{b}_3\left(x_i\right)+\dots +{\beta }_K{b}_K\left(x_i\right)+{ϵ}_i$$
其中，$b_1(\cdot ),b_2(\cdot ),\cdots ,b_K(\cdot )$ 称作基函数。

多项式回归（polynomial regression）

若 $b_j(x_i)=x_i^j$，那么
$$y_i={\beta }_0+{\beta }_1{x}_i+{\beta }_2{x}_i^2+{\beta }_3{x}_i^3+\dots +{\beta }_K{x}_i^K+{ϵ}_i$$
称作多项式回归。

阶梯函数（step function）

若 $b_j(x_i)=I(c_j\le x_i\le c_{j+1})$，那么
$$y_i={\beta }_0+{\beta }_1{C}_1\left(x_i\right)+{\beta }_2{C}_2\left(x_i\right)+{\beta }_3{C}_3\left(x_i\right)+\dots +{\beta }_K{C}_K\left(x_i\right)+{ϵ}_i$$
其中
$$\begin{array}{rl}{C}_0(X)& =I\left(X<c_1\right)\\ C_1(X)& =I\left(c_1\le X<c_2\right)\\ C_2(X)& =I\left(c_2\le X<c_3\right)\\ & ⋮\\ C_{K-1}(X)& =I\left(c_{K-1}\le X<c_K\right)\\ C_K(X)& =I\left(c_K\le X\right)\end{array}$$
$I(\cdot )$ 是示性函数。$I\left(c_K\le X\right)=1$ 当且仅当 $c_K\le X$ ，否则 $I\left(c_K\le X\right)=0$

回归样条函数 （regression splines）

当基函数是 $x,x^2,x^3,h(x,{\xi }_1),h(x,{\xi }_2),\cdots ,h(x,{\xi }_K)$ 时，其中
$$h(x,\xi )=(x-\xi {)}_{+}^3=\{\begin{array}{cl}(x-\xi {)}^3& \text{ if }x>\xi \\ 0& \text{ otherwise }\end{array}$$
$\xi$ 称作节点（knots），这里一共有 $K$ 个节点。拟合出来的函数是一个分段函数，一共有 $K+1$ 段，每一段上是一个三次函数，整个函数连续，且一阶导数和二阶导数均连续。如果在两端边界的二阶导数均为0，那么这是自然样条（natural spline）。
节点的数目：可以用交叉验证的方式，确定较优的节点数。
节点的位置：可以将节点选在等分的位置。

光滑样条函数（smoothing splines）

光滑样条函数 $g$，是使得下式最小的函数：
$$\sum _{i=1}^n{\left(y_i-g\left(x_i\right)\right)}^2+\lambda \int g^{\prime \prime }(t{)}^{2}dt$$
前一项是RSS，后一项是惩罚项，这里可以视作函数的光滑性，$\lambda$ 是参数，$\lambda$ 越大，得到的 $g$ 越光滑。
如此得到的 $g$ 是一个分段三次函数，在每个节点处一阶和二阶导数均连续。

局部回归（local regression）

局部回归的思想是用目标点附近的点来进行拟合。记目标点为 $x_0$，算法如下：

1. 找出 $x_0$ 附近最近的 $k$ 个训练点。
2. 给这些点分配权重 $K_{i0}=K(x_i,x_0)$，最远的点权重为 0，最近的点权重最大。所有其他以外的点，权重为 0
3. 用一个加权最小二乘回归进行拟合：$$\sum _{i=1}^n{K}_{i0}(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2$$
4. $x_0$ 处的拟合值为 $\hat{f}(x_0)={\hat{\beta }}_0+{\hat{\beta }}_1{x}_0$

有几点需要考虑

1. 如何定义权重函数 $K$
2. 上述算法第三步，是用线性回归，还是二次回归，或者其他
3. 如何确定第一步中的 $k$

广义加性模型（generalized additive model）

一般的线性回归模型：
$$y_i={\beta }_0+{\beta }_1{x}_{i1}+{\beta }_2{x}_{i2}+\cdots +{\beta }_p{x}_{ip}+{ϵ}_i$$
广义加性模型将 ${\beta }_j{x}_{ij}$ 替换成了一般的 $f_j(x_{ij})$:
$$\begin{array}{rl}{y}_i& ={\beta }_0+\sum _{j=1}^p{f}_j\left(x_{ij}\right)+{ϵ}_i\\ & ={\beta }_0+f_1\left(x_{i1}\right)+f_2\left(x_{i2}\right)+\cdots +f_p\left(x_{ip}\right)+{ϵ}_i\end{array}$$
优点：

1. 比标准的线性回归模型更好地进行非线性建模，不需要对自变量进行变换。
2. 预测更准确
3. 由于加性，可以检测 $Y$ 与每一个自变量 $X_j$ 的关系，所以可以用来进行推断。

缺点：受制于加性的局限，忽视了自变量之间的相互作用。