1. KNN算法概述
KNN属于分类算法，没有训练过程，新样本根据距离寻找最靠近样本的K个点，根据这K个点的分类确定新样本类别（选择K个点的多数分类）。
如下图，历史数据集有两类，红色三角形和蓝色正方形，现在需要判定绿色圆圈属于三角形还是正方形？
由图可见，若K值选择3，与圆圈最近的3个点中，有1个正方形和2个三角形，则我们判定绿色圆圈属于三角形类。若K选择5，则相应判定绿色圆圈属于正方形类。
算法描述：
- 计算测试数据与训练数据（带标签）之间的距离；
- 距离按照递增进行排序；
- 选择距离最近的K个点；
- 选择K个点出现最多的类别进行新样本分类。
由算法可见，影响分类结果的主要是K值和距离，所以使用KNN分类重点应该在选择最优K值和合适距离度量方法。
2. 如何选择K？
- K值太小，若K=1，则样本的分类结果只由最近的样本类别确定，所以容易受噪声点的影响。
- K值太大，若K=样本数n，则每个新样本的分类结果直接由训练集确定，此时无论输入实例是怎样的，分类结果都是训练实例中最多的类。
- 实际工作中，往往令K=1开始逐步增大，最大不超过训练样本数的平方根，使用交叉验证，评估不同K值下的分类情况，选择最优K值。
3. 距离度量？
距离度量就是如何衡量样本（特征向量）之间的距离，距离越小，相似度大，属于同一类别概率大。
常用的距离的度量方法有：欧式距离，曼哈顿距离；余弦相似性，皮尔逊相关系数。
其中余弦相似性和相关系数用于衡量样本之间相似性，相似性越大，属于同一类别概率大。
存在特征向量X = (x1,x2,x3...xn) Y=(y1,y2,y3..,yn)
欧式距离：
曼哈顿距离：
余弦相似性（注重两个向量在方向上的差异，而不是数值上的差异）：
皮尔逊相关系数（衡量样本特征向量之间的线性相关程度）计算方法为协方差/标准差乘积、
2020-05-27 20:21