机器学习实战训练营-第2章-k-近邻算法-2.3实例：手写识别系统
（1）收集数据：提供文本文件
（2）准备数据：编写函数classif0()，将图像格式转换为分类器使用的list格式
（3）分析数据：在python命令提示符中检查数据，确保符合要求
（4）训练算法：此步骤不适用于K-近邻算法。
（5）测试算法：编写函数使用提供的部分数据集作为测试样本，测试样本与非测试样本的区别在于测试样本是已经完成分类的数据，如果预测分类与实际类别不同，则标记为一个错误。
（6）使用算法：本例没有完成此步骤。若感兴趣，可以构建完整的应用程序，从图像中提取数字，完成数字识别，美国的邮件分拣系统就是一个实际运行的类似系统。
2.3.1准备数据：将图像转换为测试变量
def img2vector(filename):
returnVect = zeros((1,1024))
fr = open(filename)
for i in range(32):
lineStr = fr.readline()
for j in range(32):
returnVect[0,32*i+j] = int(lineStr[j])
return returnVect
2.3.2测试算法：使用k-近邻算法识别手写数字
本节我们将数据输入到分类器，检测分类器的执行效果。
确保将from os import listdir写入文件的起始部分，这段代码主要功能是从os模块中导入函数listdir，它可以列出给定目录的文件名。
#手写数字识别系统的测试代码
def handwritingClassTest():
hwLabels = []
trainingFileList = listdir('trainingDigits')
m = len(trainingFileList)
trainingMat = zeros((m,1024))
for i in range(m):
fileNameStr = trainingFileList[i]
fileStr = fileNameStr.split('.')[0]
classNumStr = int(fileStr.split('_')[0])
hwLabels.append(classNumStr)
trainingMat[i,:] = img2vector('trainingDigits/%s' % fileNmaeStr)
testFileList = listdir('testDigits')
errorCount = 0.0
mTest = len(testFileList)
for i in range(mTest):
fileNameStr = testFileList[i]
fileStr = fileNameStr.split('.')[0]
classNumStr = int(fileStr.split('_')[0])
vectorUnderTest = img2vector('testDigits/%s' % fileNameSTr)
classifierResult = classify0(vectorUnderTest,\traingMat,hwLabels,3)
print "the classifier came back with: %d,the real answer is: %d"\ % (classifierResult,classNumStr)
if (classifierResult != classNumStr): errorCount += 1.0
print "\nthe total number of errors is:%d" % errorCount
print "\nthe total error rate is: %f" % (errorCount/float(mTest))
将rainingDigs目录中的文件内容存储在列表中，然后可以得到目录中有多少文件，并将其存储在变量m中。接着，代码创建一个m行1024列的训练矩阵，该矩阵的每行数据存储一个图像。我们可以从文件名中解析出分类数字②。该目录下的文件按照规则命名，如文件9_45.txt的分类是9，它是数字9的第45个实例。然后我们可以将类代码存储在hwlabels向量中，使用前面讨论的img2vector函数载入图像。在下一步中，我们对testDigits目录中的文件执行相似的操作，不同之处是我们并不将这个目录下的文件载入矩阵中，而是使用classify0（）函数测试该目录下的每个文件。由于文件中的值已经在0和1之间，本节并不需要使用2.2节的autoNorm（）函数。
k近邻算法识别手写数字数据集，错误率为1.2%。改变变量k的值、修改函数handwriting-
classrest随机选取训练样本、改变训练样本的数目，都会对k-近邻算法的错误率产生影响，感兴趣的话可以改变这些变量值，观察错误率的变化。
实际使用这个算法时，算法的执行效率并不高。因为算法需要为每个测试向量做2000次距离计算，每个距离计算包括了1024个维度浮点运算，总计要执行900次，此外，我们还需要为测试向量准备2MB的存储空间。是否存在一种算法减少存储空间和计算时间的开销呢？k决策树就是k-近邻算法的优化版，可以节省大量的计算开销。