3-1 k近邻算法 模型三要素

距离度量：

欧式距离、LP距离

k值的选择：

k=1，方差(variance)大，估计误差(estimation error)大，过拟合(overfitting)，模型复杂，对邻近的实例点非常敏感。
k=M（样本数），偏差(Bias)大，近似误差(approximation error)大，欠拟合(underfitting)，离输入实例较远的训练实例也会对预测起作用。
通常使用交叉验证来选取最优的k值。

分类决策规则：

多数表决规则，此时经验风险最小