机器学习与高维信息检索 - Note 6 - 核， 核方法与核函数（Kernels and the Kernel Trick）

Note 6 核， 核方法与核函数

到目前为止，我们所讨论的机器学习算法的成功都依赖于对输入数据分布的假设。例如，PCA的效果越好，数据围绕线性子空间分布。或者在线性判别分析中，我们假设类的高斯分布，甚至有相同的协方差矩阵。

为了更好地考虑输入数据的其他更复杂的分布，扩展方法的一种方式是采用所谓的核方法。它允许概括所有基本上只有标准内积作为输入数据的方法。

更确切地说，考虑一个ML算法，其输入数据可以是无标签的，即${\mathbf{x}}_1,\dots ,{\mathbf{x}}_n$或有标签的，即$\left({\mathbf{x}}_1,{\mathbf{y}}_1\right),\dots ,\left({\mathbf{x}}_n,{\mathbf{y}}_n\right)$ 。此外，假设该算法实际上只使用了输入数据的$⟨{\mathbf{x}}_i,{\mathbf{x}}_j⟩:={\mathbf{x}}_i^{\top }{\mathbf{x}}_j$。然后，将$⟨{\mathbf{x}}_i,{\mathbf{x}}_j⟩$替换为某个函数$\kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)$，该函数是内积的适当概括（即核），称为核方法，参见图6.1。由此产生的学习方法通常被命名为 "核 "一词的前缀。这个技巧通常可以将基于数据分布的线性假设的方法扩展到更复杂的非线性分布。

图6.1：核方法的说明。用核代替机器学习算法中的标准内积，以获得该方法的 "核 "版本。

Kernel method${}^{[1]}$

[1] 这部分来自于wikipedia，对于核有更详细的说明与介绍。

核方法可以被认为是基于实例的学习器：它们不是学习一些与输入特征相对应的固定参数集，而是 "记住"第$i$个训练实例$({\mathbf{x}}_i,y_i)$，并为其学习相应的权重$w_i$。对未标记的输入，即那些不在训练集中的输入的预测，是通过应用一个相似性函数$k$，称为核。核是在未标记的输入${\mathbf{x}}^{\prime }$和每个训练输入${\mathbf{x}}_i$之间的相似度函数，它衡量它们之间的相似性。例如，一个核的二元分类器通常计算相似性的加权和

$$\hat{y}=\mathrm{sgn}\sum _{i=1}^n{w}_i{y}_{i}k({\mathbf{x}}_i,{\mathbf{x}}^{\prime }),$$
其中

• y ^ ∈ { − 1 , + 1 } {\hat {y}}\in \{-1,+1\} y^​∈{ −1,+1} 是核化二元分类器对未标记的输入的预测标签。

• ${\mathbf{x}}^{\prime }$ 其隐藏的真实标签y是我们感兴趣的。

• $k:\mathcal{X}\times \mathcal{X}\to \mathbb{R}$ 是衡量任何一对输入$\mathbf{x},{\mathbf{x}}^{\prime }\in \mathcal{X};$之间相似性的内核函数。

• $\sum$的范围是分类器训练集中的$n$个已标记的例子，${({\mathbf{x}}_i,y_i)}_{i=1}^n$，其中 y i ∈ { − 1 , + 1 } y_{i} \in \{-1,+1\} yi​∈{ −1,+1}。

• $w_i\in \mathbb{R}$ 是训练实例的权重，由学习算法决定。

• 符号函数$sgn$决定了预测的分类$\hat{y}$的结果是正还是负。

核分类器早在20世纪60年代就被描述过，当时发明了核感知器。随着支持向量机（SVM）在20世纪90年代的流行，核分类器的地位大为提高，当时SVM被发现在手写数字识别等任务上可以与神经网络相竞争。

---

因此，核的定义如下。它概括了标准的内积。

Definition 6.1

一个（半正定）核是一个函数$\kappa :{\mathbb{R}}^p\times {\mathbb{R}}^p\to \mathbb{R}$ 对于所有有限集合 X = { x 1 , … , x n } \mathbf{X}=\left\{\mathbf{x}_{1}, \ldots, \mathbf{x}_{n}\right\} X={ x1​,…,xn​} 的 $n\times n$矩阵
$$\mathbf{K}:=\left[\begin{array}{ccc}\kappa \left({\mathbf{x}}_1,{\mathbf{x}}_1\right)& \dots & \kappa \left({\mathbf{x}}_1,{\mathbf{x}}_n\right)\\ ⋮& \ddots & ⋮\\ \kappa \left({\mathbf{x}}_n,{\mathbf{x}}_1\right)& \dots & \kappa \left({\mathbf{x}}_n,{\mathbf{x}}_n\right)\end{array}\right]\text{\hspace{1em}(6.1)}$$

是对称的和正半定的。矩阵$\mathbf{K}$被称为$\kappa$和X的Gram-Matrix。 对于一个给定的函数$\kappa$，通常很难说它是否是一个核函数。然而，必要的条件，如对称性和正定性是很容易检查的。

Example 6.2

函数 $\kappa (\mathbf{x},\mathbf{y})=\Vert \mathbf{x}\Vert \Vert \mathbf{y}\Vert -1$不能是核，因为存在一个有限集合，即 { 0 } ⊂ R p \{0\} \subset \mathbb{R}^{p} { 0}⊂Rp，这样相关的Gram-Matrix（在这种情况下是$1\times 1$）$\mathbf{K}=-1$是负定的。

或者考虑函数 $\kappa (\mathbf{x},\mathbf{y})={\mathrm{e}}^{-\Vert \mathbf{x}-\mathbf{y}\Vert -\Vert \mathbf{y}\Vert }$。很容易看出，一般来说，$\kappa (\mathbf{x},\mathbf{y})\ne \kappa (\mathbf{y},\mathbf{x})$，因此它不可能是一个核函数。

几个常见的核是

• the linear Kernel $\kappa (\mathbf{x},\mathbf{y})={\mathbf{x}}^{\top }\mathbf{y}+c,c\ge 0$;

• the polynomial Kernel $\kappa (\mathbf{x},\mathbf{y})={\left(\alpha {\mathbf{x}}^{\top }\mathbf{y}+c\right)}^d,c,\alpha ,d\ge 0$;

• the Gaussian Kernel $\kappa (\mathbf{x},\mathbf{y})=\exp \left(-\frac{\Vert \mathbf{x}-\mathbf{y}{\Vert }^2}{2{\sigma }^2}\right),\sigma >0$;

• the exponential Kernel $\kappa (\mathbf{x},\mathbf{y})=\exp \left(-\frac{\Vert \mathbf{x}-\mathbf{y}\Vert }{2{\sigma }^2}\right),\sigma >0;$

从半正定矩阵的属性中可以直接得出，如果${\kappa }_1$和 ${\kappa }_2$ 是核，并且如果$c>0$，那么也就是

• $C{\kappa }_1$

• $c+{\kappa }_1$

• ${\kappa }_1+{\kappa }_2$

• ${\kappa }_1{\kappa }_2$.

此外，对于任何实值函数$f:{\mathbb{R}}^p\to \mathbb{R}$，我们可以通过$\kappa :=$ $f(\mathbf{x})\cdot f(\mathbf{y})$构造一个核。注意，在这种情况下，相应的Gram-Matrix的秩最多为1。

图6.2：${\mathbb{R}}^2$中的数据集和映射$\varphi :{\mathbb{R}}^2\to {\mathbb{R}}^3,\varphi \left(x_1,x_2\right)={\left[x_1,x_2,x_1^2+x_2^2\right]}^{\top }$。

Mercer’s Theorem

Theorem 6.3 （Mercer）

对于任何对称函数 $\kappa :\mathcal{X}\times \mathcal{X}$在$\mathcal{X}\times \mathcal{X}$中是平方可积的，并且满足 ${\int }_{\mathcal{X}\times \mathcal{X}}f(x)\kappa (x,y)f(y)dxdy\ge 0$ 对于所有$f\in L_2(\mathcal{X})$存在函数 ${\varphi }_i$和标量${\lambda }_i\ge 0$的情况。因此有

$$\kappa (x,y)=\sum _i{\lambda }_i{\varphi }_i(x){\varphi }_i(y)\text{ for all }x,y\in \mathcal{X}.\text{\hspace{1em}(6.2)}$$

核是一个连续函数，它取两个变量$x,y$并将它们映射为一个实值，$\kappa (x,y)=\kappa (y,x)$。当且仅当 $\iint f(x)\kappa (x,y)f(y)dxdy\ge 0$时，核是正半定的。与核$\kappa$相关，我们可以定义一个积分算子$T_{\kappa }$，当它应用于一个函数$f(x)$时，会产生另一个函数。

$$T_{\kappa }(f(x))=\int \kappa (x,y)f(y)dy=\left[T_{\kappa }f\right](x).$$

这是一个线性函数，因此有特征值${\lambda }_i$和特征函数${\varphi }_i(\cdot )$。它们被定义为

$$T_{\kappa }\left({\varphi }_i(x)\right)=\int \kappa (x,y)\varphi (y)dy={\lambda }_i{\varphi }_i(x)$$

特征值${\lambda }_i$是非负的，特征函数${\varphi }_i(x)$是正定的，即$\int {\varphi }_i(x){\varphi }_j(x)dx={\delta }_{ij}$。一组基础函数的非零特征值所对应的特征函数，以便内核可以通过以下方式进行分解
$$\kappa (x,y)=\sum _{i=1}^{\infty }{\lambda }_i{\varphi }_i(x){\varphi }_i(y).\text{\hspace{1em}(6.3)}$$