线性回归模型
1 线性基函数模型
1 线性模型的“线性”指模型是参数的线性函数，对于输入数据\(\mathbf{x}\)和参数\(\mathbf{w}\)，模型如下表示
\[y(\mathbf{x,w})=w_0+\sum_{j=1}^{M-1}w_j\phi_j(\mathbf{x}),\]
其中\(\phi_j(\mathbf{x})\)称为基函数，一般是非线性函数。这里模型的参数总数为\(M\)。记\(\phi_0(\mathbf{x})=1\)，上式等价于
\[y(\mathbf{x,w})=\mathbf{w}^\text{T}\boldsymbol\phi(\mathbf{x}),\]
基函数的选取在某些场合下等同于特征抽取。
在曲线拟合中，使用固定基函数意味着\(\boldsymbol\phi(\cdot)\)是定义在整个输入空间上的函数，而在某些情形下我们希望利用数据的局部性质。样条函数(spline)通过将输入空间切分称若干子区域，并在不同区域选取不同的基函数（多项式次数），通常产生更好的拟合效果。