机器学习基础梳理—(K-近邻算法浅谈)

K-近邻算法可用在二类分类，多类分类和回归问题上

基本要素：

K值的选择，距离度量和分类决策规则

减小K值：近似误差减小，估计误差增大，增大K值则相反K值通常不大于20；距离

度量：Lp距离；分类决策规则：多数表决

工作原理：

1、有监督学习：标签化数据集

2、测试阶段：输入无标签新数据后，将新数据的特征与样本集的特征进行比较（

最近邻：赋予最相近数据的标签；K-近邻：选择K个最相近数据中出现频次最多的

标签）

工作流：

1、制作标签化数据集 2、准备数据：修改为可用于距离计算的数值型数据 3、应用

K-近邻：首先计算测试数据与标签化数据集K个点的距离，然后升序排序，并选择

距离最小的K个点，最后返回出现频次最高的标签（分类）或K个点某个（些）属

性的平均值（回归）

注意：K-近邻算法无需训练