KNN分类算法原理及其Matlab实现

版权声明：本文为博主原创文章，未经博主允许不得转载。可联系邮箱[email protected] https://blog.csdn.net/Justin_bibo/article/details/83903682

KNN算法原理

K近邻算法是一种简单的监督学习算法。对于给定测试样本，直接计算该样本和训练集的距离，将距离最近的k个“邻居”点的类别作为参考，作为预测结果返回。

测试数据

测试数据来自林智仁的分类任务数据集，链接：(https://www.csie.ntu.edu.tw/~cjlin/)

代码

matlab版本：matlab R2017a

function KNN()

clear all;
clc;
kk=2;%knn中k的取值
M=load("D:\毕业设计\数据集1\australian.txt"); %装载数据集
[m,n]=size(M);

indices=crossvalind('Kfold',M(1:m,n),10); %十折交叉，划分训练集和测试集
testindices=(indices==1); %测试集索引
trainindices=~testindices;%训练集索引
trainset=M(trainindices,:); %获取训练集
testset=M(testindices,:);%获取测试集
[testm,~]=size(testset);
[trainm,trainn]=size(trainset);

knnlabel=zeros(testm,1);%knn得到的标签
distancev=zeros(trainm,1);%每个测试点与训练集的欧式距离向量
for i=1:testm   
    for j=1:trainm
        distancev(j)=0;
        for k=1:trainn-1
            distancev(j)=distancev(j)+(testset(i,k)-trainset(j,k))^2; 
        end
        distancev(j)=sqrt(distancev(j));%欧式距离
    end
    [~,val]=sort(distancev);
    val=val(1:kk);%取k个最小的
    class1=0;
    class2=0;
    for k=1:size(val,1)   %对k个邻居投票法计算标签
        if trainset(val(k),end)==0
            class1=class1+1;
        else
            class2=class2+1;
        end
    end
    if class1>=class2
        knnlabel(i)=0;
    else
        knnlabel(i)=1;
    end

end
acc=0;
for i=1:testm
    if knnlabel(i)==testset(i,end)
        acc=acc+1;
    end
end
acc=acc/testm;
disp('精度是:');
disp(acc);
end