K 近邻法

• k 近邻法是一种分类与回归方法 (RP: 回归方法?)
• k 近邻法可以取多类
• k 近邻没有显式的学习过程
• k 近邻三个基本要素: k 值的选择, 距离度量, 分类决策规则
• 距离度量
• L_p distance: 欧式距离, 曼哈顿距离, etc.

k 值的选择

k 值较小, 如果邻近的实例点恰巧是噪声, 预测就会出错. k 值减小就意味着整体模型变得复杂, 容易发生过拟合.
k 值较大, 如果 k = N , 那么测试样本都会被预测为训练实例中最多的类. 模型过于简单
k 值一般取一个比较小的值. 通常采用交叉验证法来选取最优的 k 值.

分类决策规则

多数表决规则等价与经验风险最小化 (经验风险与损失函数的形式有关, 此时损失函数规定为 0-1 损失函数)
损失函数为 0-1 损失函数时: 误分类率 = 经验风险 = 1 - 1 / k * (∑I(y_i = c_j))

kd 树

构造 kd 树 √
搜索 kd 树 × RP: 留待补充