一 k近邻简介（KNN）

1 算法介绍

knn是supervised leraning里classification（分类）方法中的一种，全称k-nearest neighbor。顾名思义，其核心是利用距离进行分类。

原理：已知训练集（X，Y），X为特征，Y为类别，想要知道未知的A是属于哪一类，计算A与训练集每个training example的距离，选取最近的k个距离（k一般《20 ）的训练集点类别，统计出这k个点的类别中最多的类作为A的类。

2 knn分类步骤

计算已知类别数据集中的点与当前点之间的距离；
按照距离递增次序排序；
选取与当前点距离最小的k个点；
确定前k个点所在类别的出现频率；
返回前k个点所出现频率最高的类别作为当前点的预测分类。

3 python代码

3.1 knn核心代码解析

大部分直接引用po主Jack-Cui，并作扩充

代码分四块

1 求距 d : tile()

2 按距离排列: argsort(),sorted()

3 计数前k个点的类别

4 取最多的类别即计数字典的[0][0]

** 幂（运算符）

numpy.tile(数组，行列扩充倍数) //ex. tile([0,0],(2,3)) = ([0,0,0,0,0,0,],[0,0,0,0,0,0]) 行扩充2倍列3倍

array.argsort() 对array进行从小到大排列并返回排列顺序的下标 //ex. array([-1,2,3,5,1,0,-9]).argsort() = array([6, 0, 5, 4, 1, 2, 3])

sorted(iterable, cmp=None, key=None, reverse=False) 对list、dict排序返回排序副本

operator.itemgetter函数获取的不是值，而是定义了一个函数，通过该函数作用到对象上才能获取值。参数为序号,表示取得对象第几个域的值。

# -*- coding: UTF-8 -*-
import numpy as np
import operator

"""
函数说明:kNN算法,分类器

Parameters:
    inX - 用于分类的数据(测试集)
    dataSet - 用于训练的数据(训练集)
    labes - 分类标签
    k - kNN算法参数,选择距离最小的k个点
Returns:
    sortedClassCount[0][0] - 分类结果

Modify:
    2017-07-13
"""
def classify0(inX, dataSet, labels, k):
    #==========================求距离==========================#

    #numpy函数shape[0]返回dataSet的行数
    dataSetSize = dataSet.shape[0]
    #在列向量方向上重复inX共1次(横向)即不扩充，行向量方向上重复inX共dataSetSize次(纵向)
    #inx是单个需要预测的点，扩充到dataSetSize个点，即与每个训练集点计算距离
    diffMat = np.tile(inX, (dataSetSize, 1)) - dataSet
    #二维特征相减后平方
    sqDiffMat = diffMat**2
    #sum()所有元素相加，sum(0)列相加，sum(1)行相加
    sqDistances = sqDiffMat.sum(axis=1)
    #开方，计算出距离
    distances = sqDistances**0.5

    #========================================================#

    #返回distances中元素从小到大排序后的索引值
    sortedDistIndices = distances.argsort()
    #定一个记录类别次数的字典
    classCount = {}
    
     #=================距离第i近的点的类别计数加1==================#

    for i in range(k):
        #取出前k个元素的类别
        voteIlabel = labels[sortedDistIndices[i]]
        #dict.get(key,default=None),字典的get()方法,返回指定键的值,如果值不在字典中返回默认值。
        #计算类别次数
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1

    #========================================================#

    #python3中用items()替换python2中的iteritems()
    #key=operator.itemgetter(1)根据字典的值进行排序
    #key=operator.itemgetter(0)根据字典的键进行排序
    #reverse降序排序字典
    sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
    #返回次数最多的类别,即所要分类的类别
    return sortedClassCount[0][0]

3.2电影分类小demo完整代码

假设知道4部电影的打斗镜头和亲吻镜头以及类别，来计算未知电影的类别

	打斗镜头	亲吻镜头	类别
电影1	1	101	爱情片
电影2	5	89	爱情片
电影3	108	5	动作片
电影4	115	8	动作片

#!/usr/bin/env python
#_*_coding:utf-8_*_
import numpy as np
import operator

def createData():
    group = np.array([[1,101],[5,89],[108,5],[115,8]])
    labels = ['爱情片','爱情片','动作片','动作片']
    return group,labels

def classify0(inX,dataSet,labels,k):
    '''计算距离'''
    diff = np.tile(inX,(dataSet.shape[0],1)) - dataSet
    diff_2 = diff**2
    distance = diff_2.sum(axis=1)**0.5
    print(distance)
    '''距离排序下标'''
    sortIndex = distance.argsort()
    print(sortIndex)
    classsify = {}
    '''类别计数并排序'''
    for i in range(k):
        class_k = labels[sortIndex[i]]
        classsify[class_k] = classsify.get(class_k,0) + 1
    sortdata = sorted(classsify.items(),key=operator.itemgetter(1),reverse=True)
    '''返回最多类别'''
    return sortdata[0][0]

if __name__ == "__main__":
    group,labels = createData()
    print(group)
    testData = [33,77]
    result  = classify0(testData,group,labels,2)
    print(result)

【python与机器学习入门1】knn（k近邻）算法