Kernel Method核方法—基本概念

这里只是简单叙述了核方法中运用到的几个概念和相互的关系，包括什么是核函数Kernel function、正定函数Positive definite function、再生核希尔伯特空间Reproducing Kernel Hilbert space (RKHS) 和再生核函数Repreducing kernel，以及他们之间的关系，下一篇再对其应用进行深入探讨

定义：

1. 核函数（Kernel function）
   设 $\mathcal{X}$是输入空间（ $\bm{R}^n$的子集）， $\mathcal{H}$为特征空间（希尔伯特空间），如果存在一个从 $\mathcal{X}$到 $\mathcal{H}$的映射（特征映射feature map） $\phi(x):\mathcal{X}\to\mathcal{H}$，使得对所有 $x,x'\in\mathcal{X}$，二元函数 $k(x,x'):\mathcal{X}\times\mathcal{X}\to\bm{R}$可以写成 $k(x,x')=\langle \phi(x),\phi(x')\rangle$，则 $k(x,x')$为核函数。

2. 正定函数（Positive definite function）
   二元函数 $k(x,x'):\mathcal{X}\times\mathcal{X}\to\bm{R}$为正定函数，若满足：
   对称性：对任意 $x,x'\in\mathcal{X}$，有 $k(x,x')=k(x',x)$
   正定性：对任意 $\alpha_i,x_i$，有 $\sum_{i,j=1}^n\alpha_i\alpha_jk(x_i,x_j)\geqslant0$

3. 再生核希尔伯特空间（Reproducing Kernel Hilbert space , RKHS）
   设 $\mathcal{H}$为函数 $f:\mathcal{X}\to\bm{R}$的希尔伯特空间， $\mathcal{H}$称为RKHS，若存在二元函数 $k(x,x'):\mathcal{X}\times\mathcal{X}\to\bm{R}$满足：
   对任意 $x\in\mathcal{X}$，有 $k(\cdot,x)\in \mathcal{H}$
   对任意 $x\in\mathcal{X},f\in\mathcal{H}$，有 $\langle f,k(\cdot,x)\rangle=f(x)$（再生性reproducing property）

4. 再生核函数（Repreducing kernel）
   满足3中两个条件称为RKHS $\mathcal{H}$的Repreducing kernel。

关系：

1. kernel $\Rightarrow$ PD function
   即核函数一定是正定函数。
   因为内积的定义满足对称性和正定性，这个比较显然。

2. reproducing kernel $\Rightarrow$ kernel
   即再生核函数一定是核函数。
   因为如果 $k(x,x')$为再生核函数，它的第一条性质保证了对任意 $x'\in\mathcal{X}$， $k(\cdot,x')\in \mathcal{H}$，再有第二条的再生性，有对任意 $x\in\mathcal{X}$， $\langle k(\cdot,x'),k(\cdot,x)\rangle=k(x,x')$，因此 $k(\cdot,\cdot)$是核函数 $k(x,x')$的特征映射，因此 $k(x,x')$是核函数。

3. PD function $\Rightarrow$ reproducing kernel
   即正定函数一定是再生核函数。
   由Moore-Aronszajn定理可得。

综上，kernel $\Longleftrightarrow$ PD function $\Longleftrightarrow$ reproducing kernel

4. RKHS和再生核函数是相互唯一确定的
   $\mathcal{H}$是一个再生核希尔伯特空间当且仅当 $\mathcal{H}$有一个再生核函数。
   再生核函数如果存在，则唯一。（证明如下：假设 $\mathcal{H}$有两个再生核函数 $k_1$和 $k_2$，则对任意 $x\in\mathcal{X},f\in\mathcal{H}$，有 $\langle f,k_1(\cdot,x)-k_2(\cdot,x)\rangle=f(x)-f(x)=0$，特别地，取 $f=k_1(\cdot,x)-k_2(\cdot,x)$，则 $\|k_1(\cdot,x)-k_2(\cdot,x)\|^2=0$，对任意 $x\in\mathcal{X}$成立，因此 $k_1=k_2$）

Moore-Aronszajn定理

给定二元函数 $k:\mathcal{X}\times\mathcal{X}\to\bm{R}$为正定函数，则存在唯一的再生核希尔伯特空间（RKHS） $\mathcal{H}$，它的再生核函数（reproducing kernel）为 $k$。

证明如下：

1. 内积空间
   令 $\mathcal{H}_0=\{f(x)|f(x)=\sum_{i=1}^n\alpha_ik(x_i,x), n\in\mathbb{N^+}\}$，对任意 $f,g\in\mathcal{H}_0$， $f=\sum_{i=1}^n\alpha_ik(x_i,x)$， $g=\sum_{j=1}^n\beta_jk(x_j,x)$，在 $\mathcal{H}_0$上定义内积： $\langle f,g\rangle=\sum_{i,j=1}\alpha_i\beta_jk(x_i,x_j)$，下面证明它是良定义的。
   （线性性容易验证，只需证明由它诱导的范数满足正定性，即 $\|f\|^2=0\Rightarrow f=0$对任意 $x\in\mathcal{X}$成立）
   因为 $k$是一个正定函数，因此有 $\|f\|^2=\langle f,f\rangle=\sum_{i,j=1}\alpha_i\alpha_jk(x_i,x_j)=\alpha^TK\alpha \geqslant0$，其中 $K$为Gram矩阵。
   令 $\tilde{f}=\sum_{i=1}^n\alpha_ik(x_i,\cdot)+tk(x,\cdot)$，则对任意 $t\in\mathbb{R}$有：
   $\begin{aligned} \|\tilde{f}\|^2&=\sum_{1\leqslant i,j\leqslant n}\alpha_i\alpha_jk(x_i,x_j)+2t\sum_{i=1}^n\alpha_i\langle k(x_i,\cdot),k(x,\cdot)\rangle+t^2\langle k(x,\cdot),k(x,\cdot)\rangle\\ &=\|f\|^2+2t\sum_{i=1}^n\alpha_i k(x_i,x)+t^2k(x,x)\\ &\geqslant 2tf(x)+t^2k(x,x)\\ &\geqslant0 \end{aligned}$如果 $k(x,x)=0$，显然有 $f(x)=0$；
   如果 $k(x,x)>0$，则 $2tf(x)+t^2k(x,x)=k(x,x)[t+{f(x)\over k(x,x)}]^2-{f^2(x)\over k(x,x)}\geqslant0$能推出 $-{f^2(x)\over k(x,x)}\geqslant0$，因为 ${f^2(x)}\geqslant0$且 $k(x,x)\geqslant0$，因此 $f(x)=0$。
   至此， $\mathcal{H}_0$是一个内积空间。

2. 希尔伯特空间
   $\mathcal{H}_0$不完备，取 $\mathcal{H}_0$的闭包，即把 $\mathcal{H}_0$中无穷的组合考虑进来，定义为 $\mathcal{H}_k=\overline{\mathcal{H}_0}$，则 $\mathcal{H}_k$为希尔伯特空间（完备的内积空间为希尔伯特空间）。

3. 再生核希尔伯特空间
   需要证明 $\mathcal{H}_k$是一个RKHS，且 $k$是它的再生核函数。
   即验证 $\mathcal{H}_k$和 $k$满足RKHS定义的两个条件：
   因为 $\mathcal{H}_0=\{f(x)|f(x)=\sum_{i=1}^n\alpha_ik(x_i,x), n\in\mathbb{N^+}\}$，所以 $k(\cdot,x)\in \mathcal{H}_0\subseteq \mathcal{H}_k$
   $\begin{aligned} {\langle f,k(\cdot,x)\rangle}_{\mathcal{H}_k}&=\lim_{x\to +\infty}\langle \sum_{i=1}^n\alpha_ik(x_i,\cdot),k(\cdot,x)\rangle_{\mathcal{H}_0}\\ &=\lim_{x\to +\infty}\sum_{i=1}^n\alpha_i\langle k(x_i,\cdot),k(\cdot,x)\rangle_{\mathcal{H}_0}\\ &=\lim_{x\to +\infty}\sum_{i=1}^n\alpha_ik(x_i,x)\\ &=f(x)\\ \end{aligned}$最后一步用到了范数的收敛性质 $\lim_{n\to +\infty}\|f(x)-\sum_{i=1}^n\alpha_ik(x_i,x)\|=0$以及逐点收敛的关系，这里不严格证明。
   至此，证明了 $\mathcal{H}_k$是一个RKHS，且 $k$是它的再生核函数。所以正定函数一定是再生核函数。

4. 唯一性
   是否存在另一个RKHS它的再生核函数也是 $k$呢？如果存在另一个 $\mathcal{H}_k'$并且它的再生核函数也是 $k$，则有 $\mathcal{H}_0\subseteq\mathcal{H}_k'$。又因为 $\mathcal{H}_k=\overline{\mathcal{H}_0}$，所以 $\overline{\mathcal{H}_0}=\mathcal{H}_k=\mathcal{H}_k'$，即这样的RKHS是唯一的。

参考资料