KNNアルゴリズム
(機械学習戦闘)
K-最近傍アルゴリズムは、分類内の異なる値との間の距離の測定方法を使用します。
どのように動作します:
- これは、サンプルデータセット、すなわち、訓練セットとそれに対応するクラスラベルを有する訓練セットの各データを有しています。ラベルなしで新しいデータを入力し、特徴データセットに対応するそれぞれの新しいデータサンプルが比較され、次いで、アルゴリズムは、サンプルセットの機能分類タグデータに最も類似を抽出する後。これは、kの最も類似したデータのラベルを見ている、多数決によって行わ。
- kが選択されたセットであり、kは通常20より大きくない整数に設定されているK-NNのK最も類似する先行データ・サンプル・データ
各トレーニングデータ点からクエリ点(クエリ点)までの距離を計算し、次いで対応を選択するために、分類決定を使用して、K最も類似隣接点のクエリ点(クエリ点)(隣人に最も近いK)によって選択された距離を測定しますクエリ点としてラベルのラベル。
例:
-
フィルムの分類
今、各映画の戦いのシーンとレンズのキスのための既存のデータの数が知られている映画のアクション映画と愛の映画、に分類。未知のフィルムその上に既存のデータを分類する方法は?
既存のデータは第1の実質的に描画することができます。
明らかに、我々は、未知のフィルムを推測しているのは、ロマンスの一部である必要があります。実は私たちは、k最近傍アルゴリズムが不明な点k最も近いポイントからラベルのラベルを見て、この時点で推測することはとても簡単です思いました
数学的に表現します:
距離を定義することができ、状況に応じて定義することができます。使用通常のユークリッド距離(もちろん、私が思うに、あなたがそれぞれの属性に重みを与えることができますが、どのように知られているデータのとの事前知識が共同で決めるべき重みを定義します)
手動で6枚の既知および未知のフィルム映画の距離を計算します。
故如果选择k=3,则只看前3项,由于前3项均为爱情电影,故我们可以推测未知电影为爱情电影。当然,如果 设置k=3且前3项中有一个动作电影,根据多票同意原则仍将该电影视为爱情电影。
操作:
- 读取已有数据,并对数据进行初步处理
- 对每个新加入的点,计算该点与之前数据集中所有点的距离
- 对距离排序并只取最小的前k个点
- 通过前k个点的类别确认出该范围内最高频的类别,将其视为该点的预测
实战:
通过约会数据进行分类
海伦一直使用在线约会网站寻找适合自己的约会对象。尽管约会网站会推荐不同的
人选,但她并不是喜欢每一个人。经过一番总结,她发现曾交往过三种类型的人:
- 不喜欢的人 didntLike
- 魅力一般的人 smallDoses
- 极具魅力的人 largeDoses
海伦收集约会数据已经有了一段时间,她把这些数据存放在文本文件datingTestSet.txt中,每
个样本数据占据一行,总共有1000行。海伦的样本主要包含以下3种特征
- 每年获得的飞行常客里程数
- 玩视频游戏所耗时间百分比
- 每周消费的冰淇淋公升数
采用KNN算法帮助海伦分类约会对象:
数据格式如图:
故读取数据:
import matplotlib
import matplotlib.pyplot as plt
import numpy as np
#用字典将str映射到int类型,即三种类型用3,2,1代表
dict = {'largeDoses': 3, 'smallDoses': 2, 'didntLike': 1}
def file2matrix(filename):
fr = open(filename)
# 获得文件中的数据行的行数
numberOfLines = len(fr.readlines())
# 生成对应的空矩阵
returnMat = np.zeros((numberOfLines, 3)) # prepare matrix to return
classLabelVector = [] # prepare labels return
fr = open(filename)
index = 0
for line in fr.readlines():
# str.strip([chars]) --返回已移除字符串头尾指定字符所生成的新字符串
line = line.strip()
# 以 '\t' 切割字符串
listFromLine = line.split('\t')
# 每列的属性数据
returnMat[index, :] = listFromLine[0:3]
# 每列的类别数据,就是 label 标签数据
classLabelVector.append(int(dict[(listFromLine[-1])]))
index += 1
# 返回数据矩阵returnMat和对应的类别classLabelVector
return returnMat, classLabelVector
查看数据的前20项了解数据布局:
DatingDataMat,DatingLables=file2matrix('datingTestSet.txt')
print(DatingDataMat[0:20],'\n',DatingLables[0:20])
通过Matplotlib创建散点图大致看一下数据的类型分布(为了方便在此仅取前两个特征,即飞机里程数和玩视频游戏所耗时间占比):
fig = plt.figure()
ax = fig.add_subplot(111)
ax.scatter(DatingDataMat[:,0], DatingDataMat[:,1], 15.0*np.array(DatingLables), 15.0*np.array(DatingLables))
plt.xlabel("flyier miles earned per year")
plt.ylabel("percentage of time spent video games")
plt.show()
在此处我对三种特征两两选取进行了散点图描绘,取后两个特征的点的分类效果较差,故很可能说明第一个特征具有相对较强的影响权重。
对数据提取后,便可以开始建立kNN模型,如果我们用欧拉距离表示距离的话,存在一个问题,即三个因素的量级不同,飞行里程数字过大,将几乎完全主导距离,因此需要进行归一化数据处理
归一化数据处理:
归一化目的就是将不同尺度上的评判结果统一到一个尺度上,从而可以作比较,作计算
如果数据的不同属性对样本影响一致,则直接令三个数据均归一化,使范围设置在0-1,最简单的方法为:
newValue=(oldValue-min)/(max-min)
通过该方法很容易将每个属性值均设置在0-1间。当然该归一化方法在特殊数据集上可能有较差的效果,可以考虑别的归一化函数。
归一化函数的代码:
def autoNorm(dataSet):
"""
parameter:
dataSet: 数据集
return:
归一化后的数据集 normDataSet
归一化公式:
Y = (X-Xmin)/(Xmax-Xmin)
"""
# 计算每种属性的最大值、最小值、范围
minVals = dataSet.min(0)
maxVals = dataSet.max(0)
# 极差
ranges = maxVals - minVals
normDataSet = np.zeros(np.shape(dataSet))
m = dataSet.shape[0]
# 生成与最小值之差组成的矩阵
normDataSet = dataSet - np.tile(minVals, (m, 1))
# 将最小值之差除以范围组成矩阵
normDataSet = normDataSet / np.tile(ranges, (m, 1)) # element wise divide
return normDataSet
查看归一化后的结果:
因此可以进行距离计算以及排序和筛选前k项并输出其结果
核心代码:
def classify0(inX, dataSet, labels,k):
'''
intX为输入向量,在此处为[x,y,z]
dataSet为数据集
labels为数据集对应的标签集
k为取前多少邻近
'''
dataSetSize = dataSet.shape[0]
#距离度量 度量公式为欧氏距离
diffMat = np.tile(inX, (dataSetSize,1)) - dataSet
sqDiffMat = diffMat**2
sqDistances = sqDiffMat.sum(axis=1)
distances = sqDistances**0.5
#将距离排序:从小到大
sortedDistIndicies = distances.argsort()
#选取前K个最短距离, 选取这K个中最多的分类类别
classCount={}
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
return sortedClassCount[0][0]
此时输入intX将返回相应的结果。基于此函数对测试集进行测试,查看错误率如何:
def error_rate():
#读取测试数据集
testdata,test_real_lable=file3matrix('datingTestSet2.txt')
#对属性值归一化处理
testdata=autoNorm(testdata)
nums=len(testdata)
right_num=0
for i in range(nums):
if(classify0(testdata[i],a,DatingLables,10)==test_real_lable[i]):
right_num+=1
return 1-right_num/nums
当k=10时,错误率为0.037,故正确率是较高的。
调整k值可知,在合适范围内增大k值会使得正确率会上升。
手写数字识别系统
构造一个能识别数字 0 到 9 的基于 KNN 分类器的手写数字识别系统。
需要识别的数字是存储在文本文件中的具有相同的色彩和大小:宽高是 32 像素 * 32 像素的黑白图像
查看数据的组成:
故先考虑如何将图像的内容转变为可处理的向量:
def img2vector(filename):
returnVect = zeros((1,1024))
fr = open(filename)
for i in range(32):
lineStr = fr.readline()
for j in range(32):
returnVect[0,32*i+j] = int(lineStr[j])
return returnVect
利用os.listdir函数读取整个文件夹,然后设置相应的字符串分别读取每一个txt文件的内容,从而实现训练数据的向量化。
----
trainingFileList = listdir('trainingDigits') #load the training set
m = len(trainingFileList)
trainingMat = np.zeros((m,1024))
for i in range(m):
fileNameStr = trainingFileList[i]
fileStr = fileNameStr.split('.')[0] #take off .txt
classNumStr = int(fileStr.split('_')[0])
hwLabels.append(classNumStr)
trainingMat[i,:] = img2vector('trainingDigits/%s' % fileNameStr)
----
利用上一个实例相同的思路,对测试数据进行测试(距离函数、归一化函数均具有普适性,不需要更改):
实现测试:
testFileList = listdir('testDigits') #iterate through the test set
errorCount = 0.0
mTest = len(testFileList)
for i in range(mTest):
fileNameStr = testFileList[i]
fileStr = fileNameStr.split('.')[0] #take off .txt
classNumStr = int(fileStr.split('_')[0])
vectorUnderTest = img2vector('testDigits/%s' % fileNameStr)
classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
if (classifierResult != classNumStr):
errorCount += 1.0
print ("\nthe total number of errors is: %d" % errorCount)
print ("\nthe total error rate is: %f" % (errorCount/float(mTest)))
测试结果为错误率在0.01左右
总结
如果选择较小的 k 值,就相当于用较小的邻域中的训练实例进行预测,“学习”的近似误差(approximation error)会减小,只有与输入实例较近的(相似的)训练实例才会对预测结果起作用。但缺点是“学习”的估计误差(estimation error)会增大,预测结果会对近邻的实例点非常敏感。如果邻近的实例点恰巧是噪声,预测就会出错。换句话说,k 值的减小就意味着整体模型变得复杂,容易发生过拟合
如果选择较大的 k 值,就相当于用较大的邻域中的训练实例进行预测。其优点是可以减少学习的估计误差。但缺点是学习的近似误差会增大。这时与输入实例较远的(不相似的)训练实例也会对预测起作用,使预测发生错误。 k 值的增大就意味着整体的模型变得简单。
アドレスとデータコード:
https://pan.baidu.com/s/1D1jN1_FAK-9pD9Q-KIdUEA