学习笔记（一）k-近邻算法（KNN）

学习笔记（一）k-近邻算法（KNN）

终于找到《机器学习实战》这本书了，在此记录一些总结，便于回顾。

原理

1. KNN的工作原理是：
   存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。
2. 我的理解：是在训练样本中找出与新数据（测试样本）距离最近的K个样本，这K个样本中哪个类别的样本数最多，新数据就属于哪一类。
3. 距离选择
   欧氏距离： $d(x,y)= \sqrt{\quad \sum_{k=1}^{n}{(x_k - y_k)^2}}$
   曼哈顿距离： $d(x,y)= \quad \sum_{k=1}^{n}{|x_k - y_k|}$

k-近邻算法的一般流程

(1) 收集数据：可以使用任何方法。
(2) 准备数据：距离计算所需要的数值，最好是结构化的数据格式。
(3) 分析数据：可以使用任何方法。
(4) 训练算法：此步骤不适用于k-近邻算法。
(5) 测试算法：计算错误率。
(6) 使用算法：首先需要输入样本数据和结构化的输出结果，然后运行k-近邻算法判定输
入数据分别属于哪个分类，最后应用对计算出的分类执行后续的处理。

k-近邻算法python实现

# -*- coding: utf-8 -*-
import numpy as np 
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=False)

class KNN():  
    def fit(self,x_train,y_train):
        '''
        x_train数据格式：每一列表示一个属性，每一行表示一个样本
        y_train数据格式：一维数组，表示标签，与X_train相对应
        '''
        self.x_train = x_train  
        self.y_train = y_train

    def predict(self,x_test,k = 1):
        self.k = k
        #计算欧式距离
        distance = (np.sum((self.x_train - x_test) ** 2,1)) ** 0.5
        sortindex = np.argsort(distance)
        sortindex_k = sortindex[:self.k]	#距离最近的k个样本索引
        lable_k = self.y_train[sortindex_k]   #选择距离最近的前k个标签
        labelCount = {}
        for i in lable_k:
            if i in labelCount:
                labelCount[i] += 1
            else:
                labelCount[i] = 1
        result = sorted(labelCount.items(), key=lambda k:k[1], reverse=True)
        return result[0][0]


if __name__ == '__main__':

    x_train = mnist.train.images
    y_train = mnist.train.labels
    x_test = mnist.test.images
    y_test = mnist.test.labels

    knn = KNN()
    #由于训练样本较多，可以考虑选择部分样本作为输入
    knn.fit(x_train,y_train)
    y_predict = []
    #选择了测试集前10个样本做测试
    for i in range(10): 
        y_predict.append(knn.predict(x_test[i],2))

    print('预测值：',y_predict)
    print('实际结果：',y_test[:10])

小结

k-近邻算法是分类数据最简单最有效的算法，但是当训练样本数量非常大时，必定会耗费非常多的计算机资源，由于必须对数据集中的每个数据计算距离值，实际使用时可能非常耗时。

为了缓解这些缺点，可以尝试将原始数据进行降维，减少计算量，另外，当样本数量比较多，而类别较少时，可以适当较少的选择样本进行训练。