新手入门学习机器学习，根据ApacheCN的视频学习代码，视频可以在bilibili在线播放。
有需要资料的可以在GitHub下载：https://github.com/RedstoneWill/MachineLearning
本文最主要的是分析代码的功能与实现，相应的原理大家拿看就好了。
import numpy as np
import operator
from os import listdir
def classify0(inX, dataSet, labels, k):
"""
inX:用于分类的输入变量，需要预测的值（新来的值）
dataSet：原始数据集、样本集、训练数据集
labels：数据集对应的类别或者标签
k：自行设定的值
"""
#距离运算
dataSetSize = dataSet.shape[0]
#tile生成和训练样本对应的矩阵，矩阵置为空，并与训练样本求差。测试数据-原始数据的数组。
#dataSetSize是行，dataSetSize等于多少就代表有多少行生成相应的矩阵
diffMat = np.tile(inX, (dataSetSize, 1)) - dataSet
"""
inX=[1,2,3]
DS=[[1,2,3],[1,2,0]]
tile执行后相当于：[[1,2,3],[1,2,3]]-[[1,2,3],[1,2,0]]
tile相应执行了for循环的操作
"""
sqDiffMat = diffMat**2
sqDistances = sqDiffMat.sum(axis=1)
#按行相加：(A1-A2)^2+(B1-B2)^2+(C1-C2)^相当于求所有距离的平方
distances = sqDistances**0.5#开方
sortedDistIndicies = distances.argsort()#距离排序
classCount = {}
#选择距离最小的K个点
for i in range(k):
#找到该样本的类型
voteIlabel = labels[sortedDistIndicies[i]]
#在字典中将该类型加1
classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
#排序并返回最多的那个类型
sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
return sortedClassCount[0][0]
def createDataSet():#数据集
group = np.array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])#假设出来的数据
labels = ['A', 'A', 'B', 'B']#对应的类别 已知的特征和分类
return group, labels
def file2matrix(filename):
love_dictionary = {'largeDoses':3, 'smallDoses':2, 'didntLike':1}
fr = open(filename)
arrayOLines = fr.readlines()
numberOfLines = len(arrayOLines) #get the number of lines in the file
returnMat = np.zeros((numberOfLines, 3)) #prepare matrix to return
classLabelVector = [] #prepare labels return
index = 0
for line in arrayOLines:
line = line.strip()
listFromLine = line.split('\t')
returnMat[index, :] = listFromLine[0:3]
if(listFromLine[-1].isdigit()):
classLabelVector.append(int(listFromLine[-1]))
else:
classLabelVector.append(love_dictionary.get(listFromLine[-1]))
index += 1
return returnMat, classLabelVector
"""
归一化公式：
Y = (X-Xmin)/(Xmax-Xmin)
其中min和max分别是数据集中的最小特征值和最大特征值。转化为0到1的区间
"""
def autoNorm(dataSet):
minVals = dataSet.min(0)#每个特征的最小值
maxVals = dataSet.max(0)#每个特征的最大值
ranges = maxVals - minVals#极差
normDataSet = np.zeros(np.shape(dataSet))#生成一个空的矩阵
m = dataSet.shape[0]
#将数据集减去每个特征的最小值
normDataSet = dataSet - np.tile(minVals, (m, 1))
#再将与最小值的差除以这个范围（极差）
normDataSet = normDataSet/np.tile(ranges, (m, 1)) #element wise divide
return normDataSet, ranges, minVals
def datingClassTest():
hoRatio = 0.10 # 10%测试
datingDataMat, datingLabels = file2matrix('datingTestSet2.txt') #load data setfrom file
normMat, ranges, minVals = autoNorm(datingDataMat)
m = normMat.shape[0]
#引入测试范围，总的数据乘以比例：m*hoRatio
numTestVecs = int(m*hoRatio)
errorCount = 0.0
for i in range(numTestVecs):#对10%的数据进行测试
classifierResult = classify0(normMat[i, :], normMat[numTestVecs:m, :], datingLabels[numTestVecs:m], 3)
print("the classifier came back with: %d, the real answer is: %d" % (classifierResult, datingLabels[i]))
#检测数据是否正确，如果错误的话：errorCount += 1.0（自加1）
if (classifierResult != datingLabels[i]): errorCount += 1.0
print("the total error rate is: %f" % (errorCount / float(numTestVecs)))
print(errorCount)
def classifyPerson():
resultList = ['not at all', 'in small doses', 'in large doses']
percentTats = float(input(\
"percentage of time spent playing video games?"))
ffMiles = float(input("frequent flier miles earned per year?"))
iceCream = float(input("liters of ice cream consumed per year?"))
datingDataMat, datingLabels = file2matrix('datingTestSet2.txt')
normMat, ranges, minVals = autoNorm(datingDataMat)
inArr = np.array([ffMiles, percentTats, iceCream, ])
classifierResult = classify0((inArr - \
minVals)/ranges, normMat, datingLabels, 3)
print("You will probably like this person: %s" % resultList[classifierResult - 1])
def img2vector(filename):
returnVect = np.zeros((1, 1024))#生成一个空矩阵 1行1024列
fr = open(filename)#打开文件
#采用双循环
for i in range(32):
lineStr = fr.readline()#读一行数据
for j in range(32):
returnVect[0, 32*i+j] = int(lineStr[j])#将每一行数据填充到 returnVect数据后面
return returnVect
#数据集是书上例子，给我们的数据集已经将图片转换成了数字我们只需要识别是0还是1
def handwritingClassTest():
hwLabels = []#导入数据
trainingFileList = listdir('trainingDigits') #listdir获取文件目录下的列表
m = len(trainingFileList)
trainingMat = np.zeros((m, 1024))
for i in range(m):
fileNameStr = trainingFileList[i]
fileStr = fileNameStr.split('.')[0] #通过.分割，去掉.txt剩下0_0
classNumStr = int(fileStr.split('_')[0])#利用_分割，获取第一个元素类别标签
hwLabels.append(classNumStr)#将类别添加到hwLabels列表后面去
trainingMat[i, :] = img2vector('trainingDigits/%s' % fileNameStr)#将图片转换为矩阵（将returnVect返回的数据给trainingMat[i, :]）
#导入待测试的数据
testFileList = listdir('testDigits') #iterate through the test set
errorCount = 0.0
mTest = len(testFileList)
for i in range(mTest):#按每个文件读取数据
fileNameStr = testFileList[i]
fileStr = fileNameStr.split('.')[0] #通过.分割，去掉.txt剩下0_0
classNumStr = int(fileStr.split('_')[0])#利用_分割，获取第一个元素类别标签，文件名就是它的目标变量（切割后）如果数据过大 都可以实现出来
vectorUnderTest = img2vector('testDigits/%s' % fileNameStr)
#将得到的数据和要测试的数据一起放入k-近邻算法里面
classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
#得出训练后的结果
print("the classifier came back with: %d, the real answer is: %d" % (classifierResult, classNumStr))
#进行比较结果
if (classifierResult != classNumStr): errorCount += 1.0
print("\nthe total number of errors is: %d" % errorCount)
print("\nthe total error rate is: %f" % (errorCount/float(mTest)))
"""
后面几行是视频中提及的对本代码的测试，可以尝试自己添加练习函数使用
if _name_ =='_main_':
test1()
datingClasstest()
handwritingClassTest()
"""
特点：
优点：精度高、对异常值不敏感
缺点：计算复杂度高、空间复杂度高（每次都要跑一遍所有数据）
使用数据范围：数值型和标称型
总结：
根据空间两个点的距离来计算，关键是引入了K值，保证了一定的稳定性。
对数据要进行归一化，防止对结果影响很大。