第3章 K近邻算法

k近邻算法(kNN)是一种基本分类和回归方法。本书只讨论分类问题中的k近邻算法。k近邻算法的输入为实例的特征向量，对应于特征空间的点；输出为实例的类别，可以取多类。

k近邻法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测。因此，k近邻法不具有显式的学习过程。

3.1 k近邻算法

输入：训练数据集 $T=\begin{Bmatrix} (x_1,y_1),(x_2,y_2),...,(x_N,y_N)\end{}$

其中, $x_i\in\chi \subseteq R^n$ 为实例的特征向量， $y_i\in\gamma =\begin{Bmatrix}c_1,c_2,...,c_K\end{}$ 为实例的类别，i=1,2,...,N；实例特征向量x；

输出：实例x所属的类y

（1）根据给定的距离度量，在训练集T中找出与x最近邻的k个点，涵盖这k个点的x的邻域记作 $N_k(x)$ ；

（2）在 $N_k(x)$ 中根据分类决策规则（如多数表决）决定x的类别y；

k近邻法的特殊情形是k=1，称为最近邻算法。对于输入的实例点，最近邻法将训练数据集中与x最近邻点的类别作为x的类别。

3.2 k近邻模型

3.2.1 模型

k近邻算法中，当训练集、距离度量（如欧氏距离）、k值及分类决策规则（如多数表决）确定后，对于任何一个新的输入实例，他所属的类别将唯一的确定。这相当于根据上诉要素将特征空间划分为一些子空间，确定子空间里每个点所属的类。

3.2.2 距离度量

设特征空间 $\chi$ 是n维实数向量空间 $R^n$ ， $\vec x_i,\vec x_j\in\chi ,\vec x_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(n)})^T,\vec x_j=(x_j^{(1)},x_j^{(2)},...,x_j^{(n)})^T,\vec x_i,\vec x_j$ 的 $L_p$ 距离定义为：

$L_P(\vec x_i,\vec x_j)=(\sum_{l=1}^n|\vec x_i^{({l})}-\vec x_j^{({l})}|^p)^{\frac{1}{p}}$

当p=2时，称为欧氏距离；当p=1时称为曼哈顿距离；当p为无穷大时，是各个坐标距离的最大值，即： $L_\infty (x_i,x_j)=\underset{l}{max}|x_i^{(l)}-x_j^{(l)}|$

3.2.3 k值的选择

k值的选择会产生不同的影响。

如果选择较小的k值，那么只有与输入点距离很近的点会对预测起作用。预测结果对该点附近的点非常敏感，如果附近的点有较多噪点，那么最终误差会较大。或者说当k值减小时，模型整体变得复杂，容易过拟合。

如果选择较大的k值，那么与输入点距离较远的点也会对预测起作用，但是他可能与输入点根本就不相似，也不是一类。所以误差也会增大。

在实际当中，通常用交叉验证来选取最优的k值。

3.3 k近邻法的实现：kd树

k近邻最简单的实现方法是线性扫描，也就是计算输入实例与每一个训练实例的距离。当训练集很大时，计算非常耗时。因此为了提高k近邻搜索的效率，可以考虑使用特殊的结构存储训练数据，以减少计算距离的次数。

3.3.1 构造kd树

输入：k维空间数据集 $T=\begin{Bmatrix} x_1 &x_2 &... &x_N \end{Bmatrix},x_i=(x_i^{(1)},x_i^{(2)},...,x_i^{(k)})^T,i=1,2,...,N$

输出：kd树

（1）开始：构造根结点，根结点对应于包含T的k维空间的超矩形区域。

选择 $x^{(1)}$ 为坐标轴，以T中所有实例的 $x^{(1)}$ 坐标的中位数为切分点，将根结点对应的超矩形区域切分为两个子区域。切分由通过切分点与坐标轴 $x^{(1)}$ 垂直的超平面实现。

由根结点生成深度为1的左、右子结点；左子结点对应坐标 $x^{(1)}$ 小于切分点的子区域，右子结点对应坐标 $x^{(1)}$ 大于切分点的子区域。

将落在切分超平面上的实例点保存在根结点。

（2）重复：对深度为j的结点，选择 $x^{(l)}$ 为切分的坐标轴， $l=j($mod$ k)+1$ ，以该节点的区域中所有实例的 $x^{(l)}$ 坐标的中位数为切分点，将该节点对应超矩形区域且分为两个子区域。切分由通过切分点并与坐标轴 $x^{(l)}$ 垂直的超平面实现。

由该节点生成深度为j+1的左、右子结点；左子结点对应坐标 $x^{(l)}$ 小于切分点的子区域，右子结点对应坐标 $x^{(l)}$ 大于切分点的子区域。

将落在切分超平面上的实例点保存在该节点。

（3）直到两个子区域没有实例点存在时停止。从而形成kd树的区域划分。

PS：选择训练实例点在选定坐标轴上的中位数为切分点，这样得到的kd树是平衡的。注意，平衡的kd树搜索时的效率未必是最优的。

3.3.2 搜索Kd树

主要是如何利用kd树进行k近邻搜索的方法，暂不做介绍。

《统计学习方法》K近邻算法（KNN）