【算法3】 KNN

    最简单的机器学习算法——K-近邻算法（K-Nearest Neighbor），缩写KNN，通过计算距离来判定样本是否所属同一类。

K-NN的算法思想

算距离
    给定测试对象 ????， 计算它与训练集中每个对象的距离。依据公式计算 ???? 与 ?1 ,?2, … … ?j之间的相似度， 得到??? (????, ?1), ??? (????, ?2), ??? (????, ?j)。
找邻居
    圈定距离最近的k个训练对象， 作为测试对象的近邻。将??? (????, ?1), ??? (????, ?2), ??? (????, ?j)排序， 若是超过相似度阈值?， 则放入邻居集合??.
做分类
    根据这k个近邻归属的主要类别， 来对测试对象进行分类。自邻居集合??中取出前k名， 查看它们的标签， 对这k个点的标签求和， 以多数决定， 得到????可能类别。

数学原理

    K-NN涉及的数学原理只有距离公式，计算距离的方法很多，这里采用欧氏距离。下图给处理在二维、三维坐标中的计算欧氏距离的表达式：
    当特征数量有很多个形成多维空间时， 再用上述的写法就不方便了， 我们换一个写法， 用 $X$ 加下角标的方式表示特征维度。 则在n维空间中， 有两个点 $A$ 和 $B$， 它们的坐标分别为：
则 $A$ 和 $B$的欧氏距离 $d(A,B)$表达式如下：

手稿

R | Python的实现

     $KNN$在R | Python 中 均可手动编程实现，也有对应的R第三方包 $class$来实现 $KNN$，Python中也有对应的第三方库来实现。

#R代码
library（class）
knn_model = knn(train,test,cl,k = i)

python代码点我
    后期抽时间补上R手动编程源码。