《机器学习实战》第2章 k-近邻算法学习总结

2.1算法概述

k-近邻算法(KNN)算法采用测量不同特征值之间的距离方法进行分类

算法工作原理：存在一个样本数据集合(训练样本集)，样本集中每个数据(一系列样本元素的行向量)都存在标签(已完成分类工作，每个数据与所属分类的对应关系)。当输入测试样本(非集合，数据未分类，无标签存在)，将新数据每个特征与样本集中数据对应的特征进行比较，由算法提取出训练样本集中最相似数据(最近邻)的分类标签。一般只选择样本集中前k个最相似的数据，k通常是不大于20的整数，最后选择k个相似数据中出现次数最多的分类，作为新数据的分类。

优点：精度高、对异常值不敏感、无数据输入假定
缺点：计算复杂度高、空间复杂度高
使用数据范围：数值型和标称型（有限的样本集合

---

例子：以电影类型分类为例，已知训练样本集中特征(即样本数据或特征、打斗镜头、接吻镜头个数)、特征标签(即分类，电影类型：爱情片、动作片)

输入测试样本，计算该样本中特征值与训练样本集中每个样本中特征值的距离，得到已知电影与位置电影的距离，按照距离升序排列，取k=3的前k个电影，根据这几个电影类型判断为止电影类型。

---

k-近邻算法的一般流程：

（1）收集数据：可以使用任何方法
（2）准备数据：计算距离所需要的数值，最好是结构化的数据格式
（3）分析数据：可以使用任何方法
（4）训练算法：此步骤不适用于k近邻算法
（5）测试算法：计算错误率
（6）使用算法：首先需要输入样本数据和结构化的输出结果，然后运行k-近邻算法判断输入数据分别属于哪个分类，最后应用计算出的分类执行后续处理

2.1.1准备：使用python导入数据

创建一个KNN.py文件，用于创建一个训练样本集(可当作库函数调用)。

from numpy import *
import operator

def creatDataSet():
    group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels=['A','A','B','B']
    return group,labels

2.1.2从文本文件中解析数据

k-近邻算法伪代码：

对未知类别属性的数据集中的每个点依次执行以下操作：
（1）计算已知类别数据中的点与当前点之间的距离
（2）按照距离递增次序排序
（3）选取当前点距离最小的k个点
（4）确定前k个点所在类别的出现频率
（5）返回前k个点出现频率最高的类别作为当前点的预测分类

程序清单2-1 k-近邻算法

函数中有4个输入参数，用于分类的输入向量(测试样本)inX，输入的训练样本集为dataSet，标签向量为labels，最后的参数k表示用于选择最近邻居的数目，标签向量元素和训练样本集行数相同。

def classify0(inX,dataSet,labels,k):
    #计算欧式距离
    datasetSize=dataSet.shape[0]
    diffMat=tile(inX,(datasetSize,1))-dataSet
    sqDiffMat=diffMat**2
    sqDistances=sqDiffMat.sum(axis=1)
    distances=sqDistances**0.5
    
    sortedDistIndicies=distances.argsort()
    classCount={}
    
    #选择距离最小的k个点
    for i in range(k):
        voteIlabel=labels[sortedDistIndicies[i]]
        classCount[voteIlabel]=classCount.get(voteIlabel,0)+1
#排序
sortedClassCount=sorted(classCount.iteritems(),key=operator.itemgetter(1),reverse=True)
    return sortedClassCount

欧式距离计算公式，计算向量点xA和xB之间的距离：

 计算完所有点之间的距离后，对数据按照从小到大的次序排序；并确定前k个距离最小元素所在的主要分类(特征)，输入的k总是正整数；最后，将classCount字典分解为元组列表，然后使用程序第二行导人运算符模块的itemgetter方法，按照第二个元素的次序对元组进行排序。此处的排序为逆序，即按照从最大到最小次序排序，最后返回发生频率最高的元素标签。

2.1.3如何测试分类器

可以使用已知特征的数据集来测试分类器，通过大量测试数据，可得到分类器的错误率——分类器给出错误结果的次数除以测试执行的总数。错误率主要用于评估分类器在某个数据集上的执行效果。

2.2示例：使用k-近邻算法改进约会网站的配对效果

示例:在约会网站上使用k-近邻算法：

(1)收集数据:提供文本文件。
(2)准备数据:使用Python解析文本文件。
(3)分析数据:使用Matplotlib画二维扩散图。
(4)训练算法:此步骤不适用于k-近邻算法。
(5)测试算法:使用海伦提供的部分数据作为测试样本。
   测试样本和非测试样本的区别在于:测试样本是已经完成分类的数据，如果预测分类
   与实际类别不同，则标记为一一个错误。
(6)使用算法:产生简单的命令行程序，然后海伦可以输入一些特征数据以判断对方是否
为自己喜欢的类型。

2.2.1准备数据：从文本文件中解析数据

程序清单2-2 将文本记录转换Numpy的解析程序

def file2matrix(filename):
    fr=open(filename)
    arrayOLines=fr.readlines()#读取文件所有行(直到结束符 EOF)并返回列表
    numberOfLines=len(arrayOLines)#得到文件行数
    returnMat=zeros((numberOfLines,3))#创建返回的numpy数组
    classLabeVector=[]
    index=0
    #对数据进行解析
    for line in arrayOLines:
        line =line.strip()#移除字符串头尾指定的字符（默认为空格或换行符）或字符序列，该处去除首尾空格符\n
        listFormLine=line.split('\t')#以\t为间隔拆分字符串,通过指定分隔符对字符串进行切片，并返回分割后的字符串列表（list）
        returnMat[index,:]=listFormLine[0:3]#将分割出的前3个字符串存入数组中，数组中第1、2、3数据分别表示特征“每年获得的飞行常客里程数”、“玩视频游戏所耗时间百分比”和“每周所消费的冰淇淋公升数”
        classLabeVector.append(listFormLine[-1])#将标签存入数组中
        index+=1
    return returnMat,classLabeVector

2.2.2分析数据：使用Matplotlib创建散点图

利用Matplotlib制作原始数据的散点图。

datingDataMat,datingLabels=file2matrix('datingTestSet.txt')
fig=plt.figure()
ax=fig.add_subplot(111)
ax.scatter(datingDataMat[:,1],datingDataMat[:,2])
plt.show()

采用datingDataMat矩阵第2、3列数据，分别表示特征“玩视频游戏所耗时间百分比”和“每周所消费的冰淇淋公升数”。

当训练样本集中某个特征值远远大一其他特征值时，该特征值将严重影响计算结果。因此在处理不同取值范围的特征值时，通常采用数值归一化方法，将特征值取值处理为0到1或-1到1之间。  

 max和min分别时数据集中的最大和最小特征值。

程序清单2-3 归一化特征值

def autoNorm(dataSet):
    minVals=dataSet.min(0)
    maxVals=dataSet.max(0)
    ranges=maxVals-minVals
    normDataSet=zeros(shape(dataSet))#生成一个和输入矩阵相同形状的零矩阵
    m=dataSet.shape[0]#取零矩阵的行数
    normDataSet=dataSet-tile(minVals,(m,1))#b = tile(a,(m,n)):即是把a数组里面的元素复制n次放进一个数组c中，然后再把数组c复制m次放进一个数组b中
    normDataSet=normDataSet/tile(ranges,(m,1))
    return normDataSet,ranges,minVals

2.2.4测试算法：作为完整程序验证分类器

用错误率来检测分类器的性能，错误率即分类器给出错误结果的次数除以测试数据的总数。

程序清单2-4 分类器针对约会网站的测试代码

def datingClassTest():
    hoRatio=0.10
    datingDataMat,datingLabels=file2matrix('datingTestSet.txt')#首先从文件中读取数据
    normMat, ranges, minVals = autoNorm(datingDataMat)#将特征值进行归一化处理
    m=normMat.shape[0]#获得向量数量
    numTestVec=int(m*hoRatio)#确定测试向量的数量
    errorCount=0.0
    #将测试向量输入分类器函数classify0，最后计算错误率并输出结果
    for i in range(numTestVec):
        classifierResult=classify0(normMat[i,:],normMat[numTestVec:m,:],datingLabels[numTestVec:m],3)
        print('the classifier came back with:%d,the real answer is :%d'% (classifierResult[0][0],datingLabels[i]))
        if(classifierResult[0][0]!=datingLabels[i]):
            errorCount+=1.0
    print('the total errot rate is :%f'%(errorCount/float(numTestVec)))

测试结果的错误为5%，可通过改变函数datingClassTest内变量hoRatio和变量k的值，来调整分类的正确率。

2.2.5使用算法：构建完整可用系统

程序清单2-5 约会网站预测函数

def classifyPerson():
    resultList=['in large doses','in small doses','not at all']
    #获得对象的三个主要特征
    percentTats=float(input('percentage of time spent playing video games?'))
    ffMiles=float(input('frequent flier miles earned per year?'))
    iceCream=float(input('liters of ice cream consumed per year?'))
    datingDataMat, datingLabels = file2matrix('datingTestSet.txt')  # 从文件中读取数据
    normMat,ranges,minVals=autoNorm(datingDataMat)#将特征值进行归一化处理
    inArr=array([ffMiles,percentTats,iceCream])#将对象特征值便会数组
    classifierResult=classify0((inArr-minVals)/ranges,normMat,datingLabels,3)#将测试向量输入分类器函数classify0，进行分类
    print('you will probably like the person:',resultList[classifierResult[0][0]-1])

2.3手写识别系统

2.3.1准备数据：将图像转化为测试向量

示例：使用k-近邻算法的手写识别系统

(1)收集数据:提供文本文件。
(2)准备数据:编写函数classify0(),将图像格式转换为分类器使用的list格式。
(3)分析数据:在Python命令提示符中检查数据，确保它符合要求。
(4)训练算法:此步骤不适用于k-近邻算法。
(5)测试算法:编写函数使用提供的部分数据集作为测试样本，测试样本与非测试样本
的区别在于测试样本是已经完成分类的数据，如果预测分类与实际类别不同，则标记
为一个错误。
(6)使用算法:本例没有完成此步骤，若你感兴趣可以构建完整的应用程序，从图像中提
取数字，并完成数字识别，美国的邮件分拣系统就是一一个实际运行的类似系统。

函数将图像转换为向量:该函数创建1 x 1024的NumPy数组，然后打开给定的文件，循环读出文件的前32行，并将每行的头32个字符值存储在NumPy数组中，最后返回数组。

#function6：32x32图像转1x1024向量函数
def img2vector(filename):
    retrunVect = zeros((1,1024))
    fr=open(filename)
    for i in range(32):
        linStr=fr.readline()
        for j in range(32):
            retrunVect[0,32*i+j]=int(linStr[j])
    return retrunVect

2.3.2测试算法：使用k-近邻算法识别手写数字

程序清单2-6 手写数字识别系统的测试代码

def handwritingClassTest():
    hwLabels = []
    trainingFileList = listdir('digits/trainingDigits')#获得训练集目录内容
    m = len(trainingFileList)#获取目录内文件名数量
    trainingMat = zeros((m,1024))
    #从文件名中解析出分类的数字
    for i in range(m):
        fileNameStr = trainingFileList[i]
        fileStr = fileNameStr.split('.')[0]#以.作为分隔符，取左边第一个字符串
        classNumStr = int(fileStr.split('_')[0])#以_作为分隔符，取左边第一个字符串
        hwLabels.append(classNumStr)#将从文件名中分离出的数字加入到数组中
        trainingMat[i,:] = img2vector('digits/trainingDigits/%s' % fileNameStr)#将32x32图像转1x1024向量，存入矩阵中
    testFileList = listdir('digits/testDigits')#获得测试集目录内容
    errorCount = 0.0
    mTest = len(testFileList)
    for i in range(mTest):
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        vectorUnderTest = img2vector('digits/testDigits/%s' % fileNameStr)
        classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
        print("the classifier came back with: %d, the real answer is: %d" % (classifierResult[0][0], classNumStr))
        if (classifierResult[0][0] != classNumStr):
            errorCount += 1.0
    print("\nthe total number of errors is: %d" % errorCount)
    print("\nthe total error rate is: %f" % (errorCount/float(mTest)))

 

 改变变量k的值、修改函数随机选取的训练样本、改变训练样本的数目，都可改变分类函数的正确率。

2.4总结

k-近邻算法是分类数据最简单有效的算法。

k-近邻算法必须保存全部数据集，如果训练数据集的很大，必须使用大量的存储空间。此外，由于必须对数据集中的每个数据计算距离值，实际使用时可能非常耗时。k-近邻算法的另一个缺陷是它无法给出任何数据的基础结构信息，因此我们也无法知晓平均实例样本和典型实例样本具有什么特征。

是否存在一种算法减少存储空间和计算时间的开销呢? k决策树就是k-近邻算法的优化版，可以节省大量的计算开销。

from numpy import *
import operator
import matplotlib
import matplotlib.pyplot as plt
from os import listdir

def creatDataSet():
    group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels=['A','A','B','B']
    return group,labels

#function1：简单分类函数
def classify0(inX,dataSet,labels,k):
    # 计算欧式距离
    datasetSize=dataSet.shape[0]
    diffMat=tile(inX,(datasetSize,1))-dataSet
    sqDiffMat=diffMat**2
    sqDistances=sqDiffMat.sum(axis=1)
    distances=sqDistances**0.5
    sortedDistIndicies=distances.argsort()
    classCount={}

    # 选择距离最小的k个点
    for i in range(k):
        voteIlabel=labels[sortedDistIndicies[i]]
        classCount[voteIlabel]=classCount.get(voteIlabel,0)+1

    # 升序排序
    sortedClassCount=sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
    return sortedClassCount

#fuction2：使用Matplotlib创建散点图
def file2matrix(filename):
    fr=open(filename)
    arrayOLines=fr.readlines()#读取文件所有行(直到结束符 EOF)并返回列表
    numberOfLines=len(arrayOLines)#得到文件行数
    returnMat=zeros((numberOfLines,3))#创建返回的numpy数组
    classLabeVector=[]
    index=0
    #对数据进行解析
    for line in arrayOLines:
        line =line.strip()#移除字符串头尾指定的字符（默认为空格或换行符）或字符序列，该处去除首尾空格符\n
        listFormLine=line.split('\t')#以\t为间隔拆分字符串,通过指定分隔符对字符串进行切片，并返回分割后的字符串列表（list）
        returnMat[index,:]=listFormLine[0:3]#将分割出的前3个字符串存入数组中，数组中第1、2、3数据分别表示特征“每年获得的飞行常客里程数”、“玩视频游戏所耗时间百分比”和“每周所消费的冰淇淋公升数”
        classLabeVector.append(int(listFormLine[-1]))#将标签存入数组中，1，2，3分别表示喜欢、一般喜欢、不喜欢
        index+=1
    return returnMat,classLabeVector

#function3：归一化特征值，该函数会自动对每列元素即所有特征值都进行归一化处理
def autoNorm(dataSet):
    minVals=dataSet.min(0)
    maxVals=dataSet.max(0)
    ranges=maxVals-minVals
    normDataSet=zeros(shape(dataSet))#生成一个和输入矩阵相同形状的零矩阵
    m=dataSet.shape[0]#取零矩阵的行数
    normDataSet=dataSet-tile(minVals,(m,1))#b = tile(a,(m,n)):即是把a数组里面的元素复制n次放进一个数组c中，然后再把数组c复制m次放进一个数组b中
    normDataSet=normDataSet/tile(ranges,(m,1))
    return normDataSet,ranges,minVals

#function4：分类器针对约会网站的测试代码
def datingClassTest():
    hoRatio=0.10
    datingDataMat,datingLabels=file2matrix('datingTestSet.txt')#首先从文件中读取数据
    normMat, ranges, minVals = autoNorm(datingDataMat)#将特征值进行归一化处理
    m=normMat.shape[0]#获得向量数量
    numTestVec=int(m*hoRatio)#确定测试向量的数量
    errorCount=0.0
    #将测试向量输入分类器函数classify0，最后计算错误率并输出结果
    for i in range(numTestVec):
        classifierResult=classify0(normMat[i,:],normMat[numTestVec:m,:],datingLabels[numTestVec:m],3)
        print('the classifier came back with:%d,the real answer is :%d'% (classifierResult[0][0],datingLabels[i]))
        if(classifierResult[0][0]!=datingLabels[i]):
            errorCount+=1.0
    print('the total errot rate is :%f'%(errorCount/float(numTestVec)))

#fuction5：约会网站预测函数
def classifyPerson():
    resultList=['in large doses','in small doses','not at all']
    #获得对象的三个主要特征
    percentTats=float(input('percentage of time spent playing video games?'))
    ffMiles=float(input('frequent flier miles earned per year?'))
    iceCream=float(input('liters of ice cream consumed per year?'))
    datingDataMat, datingLabels = file2matrix('datingTestSet.txt')  # 从文件中读取数据
    normMat,ranges,minVals=autoNorm(datingDataMat)#将特征值进行归一化处理
    inArr=array([ffMiles,percentTats,iceCream])#将对象特征值便会数组
    classifierResult=classify0((inArr-minVals)/ranges,normMat,datingLabels,3)#将测试向量输入分类器函数classify0，进行分类
    print('you will probably like the person:',resultList[classifierResult[0][0]-1])

#function6：32x32图像转1x1024向量函数
def img2vector(filename):
    retrunVect = zeros((1,1024))
    fr=open(filename)
    for i in range(32):
        linStr=fr.readline()
        for j in range(32):
            retrunVect[0,32*i+j]=int(linStr[j])
    return retrunVect

#function7：手写数字识别系统测试代码
def handwritingClassTest():
    hwLabels = []
    trainingFileList = listdir('digits/trainingDigits')#获得训练集目录内容
    m = len(trainingFileList)#获取目录内文件名数量
    trainingMat = zeros((m,1024))
    #从文件名中解析出分类的数字
    for i in range(m):
        fileNameStr = trainingFileList[i]
        fileStr = fileNameStr.split('.')[0]#以.作为分隔符，取左边第一个字符串
        classNumStr = int(fileStr.split('_')[0])#以_作为分隔符，取左边第一个字符串
        hwLabels.append(classNumStr)#将从文件名中分离出的数字加入到数组中
        trainingMat[i,:] = img2vector('digits/trainingDigits/%s' % fileNameStr)#将32x32图像转1x1024向量，存入矩阵中
    testFileList = listdir('digits/testDigits')#获得测试集目录内容
    errorCount = 0.0
    mTest = len(testFileList)
    for i in range(mTest):
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        vectorUnderTest = img2vector('digits/testDigits/%s' % fileNameStr)
        classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
        print("the classifier came back with: %d, the real answer is: %d" % (classifierResult[0][0], classNumStr))
        if (classifierResult[0][0] != classNumStr):
            errorCount += 1.0
    print("\nthe total number of errors is: %d" % errorCount)
    print("\nthe total error rate is: %f" % (errorCount/float(mTest)))




if __name__ == '__main__':
    # 简单分类函数示例
    # group,lables=creatDataSet()
    # result=classify0([1,1],group,lables,3)
    # print(result[0][0])

    #使用Matplotlib创建散点图
    # datingDataMat,datingLabels=file2matrix('datingTestSet.txt')
    # fig=plt.figure()
    # ax=fig.add_subplot(111)
    # ax.scatter(datingDataMat[:,1],datingDataMat[:,2],15.0*array(datingLabels),15.0*array(datingLabels))
    # plt.show()

    #归一化特征值
    # datingDataMat, datingLabels = file2matrix('datingTestSet.txt')
    # normMat,ranges,minVals=autoNorm(datingDataMat)

    #分类器测试
    # datingClassTest()

    #约会网站预测
    # classifyPerson()

    #图片向量转化
    # testVector=img2vector('digits/testDigits/0_13.txt')
    # print(testVector[0,0:31])

    #手写数字识别测试
    handwritingClassTest()