使用原始的Titanic数据，通过特征筛选，一步步提升性能（特征如何提取）

# coding=gbk
#使用Titanic数据集，通过特征筛选的方法一步步提升决策树的预测性能
import pandas as pd
from sklearn.cross_validation import train_test_split , cross_val_score
from sklearn.feature_extraction import DictVectorizer
from sklearn.tree import DecisionTreeClassifier
from sklearn import feature_selection
import numpy as np
import pylab as pl

titanic = pd.read_csv('http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt')
#分离数据特征与预测目标
y = titanic['survived']
X = titanic.drop(['row.names','name','survived'],axis=1)
#对缺失的数据进行填充
X['age'].fillna(X['age'].mean(),inplace=True)
X.fillna('UNKNOW',inplace=True)
#分割数据
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.25,random_state=33)
#类别型特征向量化
vec = DictVectorizer()
X_train = vec.fit_transform(X_train.to_dict(orient='record'))
X_test = vec.transform(X_test.to_dict(orient='record'))
#输出处理后特征向量的维度
print(len(vec.feature_names_))

#使用决策树模型依靠所有的特征进行预测，并评估性能
dt = DecisionTreeClassifier(criterion='entropy')
dt.fit(X_train,y_train)
print('选取特征之前的准确性：',dt.score(X_test, y_test))

#利用sklearn的特征筛选器，筛选出前20%的特征，使用相同配置的决策树模型进行预测，并且评估性能
fs = feature_selection.SelectPercentile(feature_selection.chi2,percentile=20)
X_train_fs=fs.fit_transform(X_train,y_train)
dt.fit(X_train_fs,y_train)
X_test_fs=fs.transform(X_test)
print('选取特征之后的准确性：',dt.score(X_test_fs, y_test))
#通过使用交叉验证，并作图展示性能随机特征筛选比例变化

percentiles = range(1,100,2)
results = []
for i in percentiles:
fs = feature_selection.SelectPercentile(feature_selection.chi2,percentile=i)
X_train_fs=fs.fit_transform(X_train,y_train)
scores = cross_val_score(dt,X_train_fs,y_train,cv=5)
results=np.append(results, scores.mean())
print(results)
#找到体现最佳性能的特征筛选百分比
opt = np.where(results==results.max())[0]
pl.plot(percentiles,results)
pl.xlabel('percentiles of features')
pl.ylabel('accuracy')
pl.show()

#使用最佳筛选后的特征，利用相同配置的模型在测试集上进行性能评估
fs1 = feature_selection.SelectPercentile(feature_selection.chi2,percentile=7)
X_train_fs1= fs1.fit_transform(X_train,y_train)
dt.fit(X_train_fs1,y_train)
X_test_fs1=fs1.transform(X_test)
print('筛选出七个特征之后的准确性',dt.score(X_test_fs1, y_test))

使用原始的Titanic数据，通过特征筛选，一步步提升性能（特征如何提取）

猜你喜欢