本文主要是介绍knn算法，里面有自己的见解同时也参考了资料和相关文章，有错误之处还请指出。
算法简介
邻近算法，又叫K近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。
- kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。
- 该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。
- kNN方法在类别决策时，只与极少量的相邻样本有关。由于kNN方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定所属类别的，因此对于类域的交叉或重叠较多的待分样本集来说，kNN方法较其他方法更为适合。
算法思路
如果一个样本在特征空间中的 k 个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。通常 K 的取值比较小，不会超过20。
- 计算测试数据与各个训练数据之间的距离
- 按照升序（从小到大）对距离（欧氏距离）进行排序
- 选取距离最小的前k个点
- 确定前k个点所在类别出现的频率
- 返回前k个点中出现频率最高的类别作为测试数据的分类
关于k值的选取
临近数，即在预测目标点时取几个临近的点来预测，K值得选取非常重要。
- 当K的取值过小时，一旦有噪声得成分存在们将会对预测产生比较大影响，例如取K值为1时，一旦最近的一个点是噪声，那么就会出现偏差，K值的减小就意味着整体模型变得复杂，容易发生过拟合。
- 如果K的值取的过大时，就相当于用较大邻域中的训练实例进行预测，学习的近似误差会增大。这时与输入目标点较远实例也会对预测起作用，使预测发生错误。K值的增大就意味着整体的模型变得简单。
- K的取值尽量要取奇数，以保证在计算结果最后会产生一个较多的类别，如果取偶数可能会产生相等的情况，不利于预测。
- 常用的方法是从k=1开始，估计分类器的误差率。重复该过程，每次K增值1，允许增加一个近邻，直到产生最小误差率的K。
一般k的取值不超过20，上限是n的开方，随着数据集的增大，K的值也 要增大。
代码示例
读取文件，并对数据进行简单处理
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文
plt.rcParams['axes.unicode_minus']=False #用来正常显示负号
#读取文件
data = np.genfromtxt('datingTestSet.txt',delimiter = '\t',dtype=str)
#将一个array结构转换成dataframe结构，设置columns列名
data_df = pd.DataFrame(data,columns = ['飞行里程数','玩游戏时间比','每周冰淇淋公升数','吸引力程度'])
#特征数据列名
features = ['飞行里程数','玩游戏时间比','每周冰淇淋公升数']
#将特征数据转换为float类型
data_df[features]= data_df[features].astype(float)
#利用series.map方法将标签数据进行替换表示（使用1，0，-1表示）
dic = {'largeDoses':1,'smallDoses':0,'didntLike':-1}
data_df['吸引力程度'] = data_df['吸引力程度'].map(dic)
对数据进行归一化、标准化处理
#导入标准化
from sklearn.preprocessing import MinMaxScaler
from sklearn.preprocessing import StandardScaler
#scaler调用fit_transform方法，生成归一化规则，并进行归一化，输入一个dataframe结构，输出归一化后的dataframe
#scaler还包括fit方法和transform方法，fit生成归一化规则，transform对数据进行归一化
#StandardScaler标准化模块用法类似
scaler = MinMaxScaler()#实例归一化模块
data_df_copy[features]= scaler.fit_transform(data_df_copy[features])
飞行里程数 玩游戏时间比 每周冰淇淋公升数 吸引力程度
993 0.041414 0.471152 0.193598 0
859 0.585573 0.348900 0.933207 1
298 0.490156 0.489370 0.373159 1
553 0.317903 0.513542 0.572632 1
672 0.445093 0.478214 0.136041 1
重新设置索引，切分训练集和测试集
#重新设置index，inplace=True覆盖原index，删除原来的index
data_df_copy.reset_index(inplace=True,drop = True)
#划分训练集和测试集，90%作为训练集，10%作为测试集
train = data_df_copy.iloc[:900]
test = data_df_copy.iloc[900:]
算距离
def distance(row,example):
feature_error = row[features]-example[features]
#feature_error计算训练集的一个样本与测试集例子特征数据的误差
error_square_sum = (feature_error**2).sum()
#error_square_sum误差的平方和
distance = error_square_sum**(1/2)
return distance
用训练集数据进行训练
#axis = 1，将dataframe中每一行传入自定义函数distance中
dist = train.apply(distance,example=example,axis = 1)
#找出距离最小的前十个
k_index=dist.sort_values().head(10).index
train.loc[k_index]
飞行里程数 玩游戏时间比 每周冰淇淋公升数 吸引力程度
183 0.385514 0.079316 0.263173 -1
263 0.371698 0.138945 0.342608 -1
750 0.410275 0.095174 0.222458 -1
81 0.378009 0.144972 0.354524 -1
624 0.329769 0.074986 0.403166 -1
766 0.301787 0.185353 0.236339 -1
148 0.233705 0.049329 0.286254 0
375 0.401455 0.150545 0.376846 -1
175 0.415073 0.130444 0.194968 -1
320 0.432921 0.000000 0.283742 -1
#value_counts()进行类别频数统计，series.idxmax()返回该列最大值的index
predict = train.loc[k_index]['吸引力程度'].value_counts().idxmax()
predict
-1
对测试集数据的标签进行预测
test_predict=[]
for sample_index in test.index:# 遍历test的样本index，从而遍历test的所有样本
sample = test.loc[sample_index]
d = train.apply(distance,example=sample,axis = 1)#计算test每一个样本的距离
k_index = d.sort_values().head(3).index#按照距离从小到大排序后，取前三个样本的索引
predict = train.loc[k_index]['吸引力程度'].value_counts().idxmax()
#根据索引定位训练集的该三个样本，取他们的标签数据并进行频数统计，取最大频数的index，即为最大频数的类别
#series.value_counts()，进行频数统计，返回的是一个seires结构，index是类别，value是频数
test_predict.append(predict)#将预测结果保存
print(test_predict)
[-1, -1, 0, 1, 0, 1, -1, -1, 0, -1, 0, 0, 1, 0, -1, 1, -1, 0, 1, 0, 1, 1, -1, 1, 1, -1, -1, 0, -1, 1, 0, 0, 0, 0, -1, -1, 1, 1, 0, 1, 1, 0, 0, 0, 0, 0, -1, -1, 0, 1, 0, 0, 1, -1, -1, -1, 1, 1, 1, 0, -1, 0, 1, 0, 0, -1, 0, 0, 1, -1, 0, 0, 1, 1, 1, 0, 1, 0, 1, 1, 0, -1, 0, 0, 1, 0, -1, 0, -1, -1, 1, 1, 0, 1, 0, 0, 1, 1, -1, -1]
算准确率
#真实值
true_label = test['吸引力程度'].values
true_label
correct = [1 if ((a == 1 and b == 1) or (a == 0 and b == 0))or(a == -1 and b==-1) else 0 for (a, b) in zip(test_predict, true_label)]
sum(correct)
导包算法
from sklearn.neighbors import KNeighborsClassifier
knn = KNeighborsClassifier(n_neighbors=3) #默认n_neighbors=5，取前5个最相近的样本。
knn.fit(train[features], train['吸引力程度']) #传入训练集指标下的数据和标签，fit()拟合功能
predict = knn.predict(test[features])
correct = [1 if ((a == 1 and b == 1) or (a == 0 and b == 0))or(a == -1 and b==-1) else 0 for (a, b) in zip(predict, true_label)]
sum(correct)
