版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/kabuto_hui/article/details/83154587
k-近邻算法是我见过最为简单却很实用的算法，他没有复杂的推导公式，没有长时间的训练过程，数据集即是模型。
在周志华老师的西瓜书中，是这么来描述他的：
k-近邻是一种常用的监督学习方法，其工作机制非常简单：从给定测试样本，基于某种距离度量来找出数据集中与其最靠近的k个样本，然后基于这k个邻居来进行预测。
在分类问题中，可以根据“投票法”来选择这k个邻居中出现最多的类别作为预测结果；在回归问题中则可以采取一种“平均法”或者“加权平均法”来作为预测结果。
它最大的特点就是没有显式的训练过程，所以我们称这种没有显式训练的学习为“懒惰学习”(Lazy learning)，而那些需要提前训练的学习我们称为“急切学习”(Eager learning)
所以我们很清楚了，就是找出数据集中与测试样本最近的k个样本，并统计k个样本中出现次数最多的label作为输出。这种方法看似简单，但是在数据量很大的时候，kNN往往能取得不错的效果，且计算时间短。它的主要特点为：
优点： 精度高、对异常值不敏感、无输入数据假定
缺点： 计算复杂度高、空间复杂度高(要与所有的样本计算距离)
适用于数值型和标称型数据
其流程可以表示为：
(1) 计算测试样本与已知类别的样本的距离
(2) 按照距离递增次序排序
(3) 选取与当前样本距离最小的k个样本
(4) 确定前k个样本所在类别出现的频率
(5) 返回前k个样本中出现频次最高的类别当作当前样本的预测分类
其代码如下：
from numpy import *
def knn(test, dataSet, labels, k):
'''
k-近邻算法
参数：
-test：待分类样本
-dataSet：数据集
-labels：数据集对应的标签
-k：邻居数量
返回：
-预测的分类
'''
dataSetSize = dataSet.shape[0] # 获取数据集样本数量
diffMat = tile(inX, (dataSetSize,1)) - dataSet # 测试样本与数据集中每一个样本对应相减
sqDiffMat = diffMat**2 # 平方
sqDistances = sqDiffMat.sum(axis=1) # 再按行求和
distances = sqDistances**0.5 # 再开方得到样本间的欧式距离
sortedDistIndicies = distances.argsort() # 对距离进排序并返回序号
classCount={}
for i in range(k): # 统计前k个样本中各label的数量
voteIlabel = labels[sortedDistIndicies[i]]
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)
return sortedClassCount[0][0] # 返回数量最多的label
在sklearn中的使用也很简单：
from sklearn.neighbors import KNeighborsClassifier
model = KNeighborsClassifier(n_neighbors=param) # param表示邻居的数量
model.fit(X,y) # 训练，其实没有训练X是数据集，y是label
y_test = model.predict(x_test) # 预测
通常所说的调包怪是也！导入模型->fit->predict（摊手~）
最后值得注意的是：
对于k的取值一般没有什么好的办法，通过实验来确定，选择正确率最高的k即可，一般来说k的取值不超过20.