K阶近邻算法
- 概念: k-阶近邻算法采用测量不同特征值之间的距离方法进行分类
工作原理:
k-近邻算法(kNN),它的工作原理是:存在一个样本数据集合,也称作训练集样本集,并且样本集中每个数据都存在标签,集我们知道样本集中每一个数据与所属分类的对应关系.输入没有的标签的新数据后,将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本中特征醉相似数据(最近邻)的分类标签.一般来说,我们只选择样本数据集中前k个最相似的数据,这就是k-近邻算法的出处,同创k是不大于20的整数.最后,选择k个最相似数据中出现次数最多的分类,作为新数据的分类.k-近邻算法的一般流程
(1)收集数据 :可以使用任何方法
(2)准备输入数据 :距离计算所需要的数值,最好是结构化的数据格式
(3)分析输入数据 :可以使用任何方法
(4)训练算法 :此步骤不适用于k-近邻算法
(5)测试算法 :计算错误率
(6)使用算法 :首先需要输入样本数据和结构化的输出结果,然后运行k-近邻算法判定输入数据分别属于哪个分类,最后应用对计算出的分类执行后续的结果.- k-近邻算法优缺点:
(1)优点 :精度高,对异常值不敏感,无数据输入假定.
(2)缺点 :计算负责度高,空间发咋读高.
(3)适用范围 : 数值型和标称型(标称型目标变量的结果只在有限目标集中取值，如真与假(标称型目标变量主要用于分类)).