在做homework1 最后几道关于PLA pocket算法时，看到很多的博客，感觉代码写的好复杂（有些也给我好大的启发），但不就是完成一个选择题，实现一下思想嘛。所以想粘一下下小白写的。
import random
import numpy as np
import pandas as pd
#处理数据，添加x0这一列
f = pd.read_csv("train.txt",sep='\s+',header=None)
ft = pd.read_csv('test.txt',sep='\s+',header=None)
data = f.iloc[:,:-1]
app = pd.Series(np.ones((data.shape[0])))
data_train = pd.concat([app,data],axis=1)
label_train = f.iloc[:,-1]
data_test = pd.concat([pd.Series(np.ones((ft.shape[0]))),ft.iloc[:,:-1]],axis=1)
label_test = ft.iloc[:,-1]
#函数说明：计算分错误的点的个数
def counterror(data,label,w):
score = np.dot(data,w.T)
score[score<=0]=-1
score[score>0]=1
error = len(score[(score!=label)])
return error
#函数说明：pocket分类
def classif(data_train,label_train,data_test,label_test):
iteration = 2000 #总的迭代次数
acc = [] #保存在测试集中的错误率
for i in range(iteration):
wnew = np.zeros((data_train.shape[1]))
w = np.zeros((data_train.shape[1]))
minerror = counterror(data_train,label_train,w)
update = 50
up = 0
while up < update:
up+=1
score = np.dot(data_train,wnew.T)
score[score<=0]=-1
score[score>0]=1
k = random.choice(label_train[score != label_train].index)
wnew = wnew + label_train[k]*data_train.iloc[k,:]
if counterror(data_train,label_train,wnew) < minerror:
minerror = counterror(data_train,label_train,wnew)
w = wnew #更换口袋中的w
acc.append(counterror(data_test,label_test,w)/data_test.shape[0])
return acc
acc = classif(data_train,label_train,data_test,label_test)
np.array(acc).mean()
最后的结果是0.133641（还算了蛮久的）
对pocket算法的理解
pocket相对于PLA来说，多了一个口袋包。
在实现时，依旧是按照PLA进行“知错能改”，不断更新wnew。
但是因为数据集不是线性可分的，所以PLA每次迭代出来的wnew不一定错误率在每次降低。所以我们在PLA的基础上，加了一个口袋，用来存放错误率最低的wnew。
如何保证pocket中的w是错误率最低的呢，就是每次迭代出的w和wnew进行比较，如果wnew更好，则更换口袋中的w
