正则化最小二乘估计

对于给定的训练样本 $\lbrace x_i, d_i\rbrace _{i=1} ^{N}$，最小二乘估计的正则化代价函数由下式定义：
$\varepsilon (w) = \frac{1}{2} \sum _{i=1} ^N(d_i - w^TX_i)^2 + \frac{1}{2} \lambda ||w||^2$
正则化项以w的形式简单地定义：
$||DF||^2 = ||W||^2 = W^TW$
关于权值向量 $\hat{W}$都正则化解的预期响应d的表达式有：
$\hat{W} = (R_xx + \lambda I ) ^{-1} r_{dx}$
$R_{xx} = \sum _{i=1} ^{N}\sum _{j=1} ^N X_iX_j^T$
$r_{dx} = \sum _{i=1} ^N X_i d_i$
以训练样本 $\lbrace x_i, d_i\rbrace _{i=1} ^{N}$的形式重申 $\hat{W}$，有：
$\hat{W} = (X^TX+ \lambda I ) ^{-1}X^Td$
X为输入数据矩阵

把最小二乘估计看成一个"核机器"，把它的核表示成内积的形式：
$k(X,X_i) = <X,X_i>=X^TX_i,i=1,2,...,N$
定义正则化最小二乘估计表示逼近函数：
$F_{\lambda}(X) = \sum_{i=1}^{N}a_i k(X,X_i)$