上一篇博文介绍了读取csv文件和可视化数据的过程,完成这两步后,我们对数据集和问题有了直观的理解,而天池、kaggle等竞赛会给我们需要提交结果的数据集和有标签的数据集。接下来,我们需要对数据集进行划分,以用于模型训练和验证.
数据集的划分
- 将有标签的数据集划分为训练集和测试集,以验证我们最终提交模型的泛化能力.
from sklearn.model_selection import train_test_split
#x为数据,y为对应的标签,也可在提取完特征后划分,这里希望划分好用同一数据集测试,划分比例0.8:0.2
x_train,x_test,y_train,y_vest = train_test_split(x, y, test_size=0.2)
-
方案一：交叉验证策略
K折交叉验证,均分为K组,1组验证,K-1组训练,以K次训练在验证集上的平均指标作为性能指标.from sklearn.linear_model import LogisticRegression from sklearn.model_selection import KFold from sklearn.model_selection import cross_val_score #以逻辑回归,5折交叉验证为例 kfold = KFold(n_splits=5, random_state=7) classify = LogisticRegression() result = cross_val_score(classify, x_train, y_train, cv=kfold) #5折交叉验证-方案二：弃一交叉验证策略
N个样本,每次用N-1个训练,1个验证,共进行N次,验证集上的平均指标作为性能指标.from sklearn.linear_model import LogisticRegression from sklearn.model_selection import LeaveOneOut from sklearn.model_selection import cross_val_score loocv = LeaveOneOut() classify = LogisticRegression() result = cross_val_score(classify, x_train, y_train, cv=loocv) #弃一交叉验证
数据预处理
scikit-learn提供两种标准的格式化数据方法.
- 方法1:Fit and Multiple Transform
先调用fit()函数来准备数据转换的参数,然后调用transform()函数来做数据的预处理.
在一般使用中,会fit训练集,然后在验证集和测试集上做相同的transform(),切记不要再次fit - 方法2:Combined Fit-and-Transform
fit和transform同时进行
主要数据预处理的方式有：最大最小归一化，正态归一化，标准化和二值化，其原理都比较简单，代码示例如下：
#归一化
from sklearn.preprocessing import MinMaxScaler
from sklearn.preprocessing import StandardScaler
from sklearn.preprocessing import Normalizer
from sklearn.preprocessing import Binarizer
#最大最小归一化
MMScalar = MinMaxScaler(feature_range=(0,1)) #归一化到0,1
new_train_x1 = MMScalar.fit_transform(x_train) #训练集fit+transform
new_test_x1 = MMScalar.transform(x_valid) #验证集上transform
#归一化为正态分布(即均值为0,方差为1的正态分布)
SScaler = StandardScaler()
new_train_x2 = SScaler.fit_transform(x_train) #训练集fit+transform
new_test_x2 = SScaler.transform(x_valid) #验证集上transform
#标准化数据
NScaler = Normalizer()
new_train_x3 = NScaler.fit_transform(x_train) #训练集fit+transform
new_test_x3 = NScaler.transform(x_valid) #验证集上transform
#二值化,大于阈值设为1,小于阈值设为0
BScaler = Binarizer(threshold=0.0) #大于0设为1,小于0设为0
new_train_x4 = BScaler.fit_transform(x_train) #训练集fit+transform
new_test_x4 = BScaler.transform(x_valid) #验证集上transform
#除了上边说过的方法,还可以先Fit再Transform,以MinMaxScaler为例
MMScalar = MinMaxScaler(feature_range=(0,1)).fit(x_train)
new_train_x5 = MMScalar.transform(x_train) #训练集fit+transform
new_test_x5 = MMScalar.transform(x_valid) #验证集上transform
特征工程
这里的特征工程主要是选择最优的特征组合,这里主要涉及的方法有单变量,RFE和PCA,直接上代码吧！
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import RFE
from sklearn.decomposition import PCA
from sklearn.feature_selection import chi2
from sklearn.linear_model import LogisticRegression
#单变量特征选定,给定选定标准,选择得分最高的k个特征
SKBest = SelectKBest(Score_func=chi2, k=5) #以卡方检验评分为标准,选择评分最高的5个特征
x_train_choose1 = SKBest.fit_transform(new_train_x, y_train) #训练集上fit和tansform
x_test_choose1 = SKBest.transform(new_train_x) #验证集上transform
#递归特征消除(RFE),使用基模型来进行多轮训练,每轮训练后消除若干权值系数的特征,再进行下一轮,直到找到最大的数据特征
#以逻辑回归为例,选取最优的5个特征
classify = LogisticRegression()
rfe = RFE(classify,5)
rfe.fit(new_train_x, y_train) #训练集上fit
x_train_choose2 = rfe.fit_transform(new_train_x)
x_test_choose2 = rfe.fit(new_test_x)
#主成分分析,利用PCA对数据进行降维,使数据更有发散性
pca = PCA(n_components=5)
pca.fit(new_train_x, y_train)
x_train_choose3 = pca.fit_transform(new_train_x)
x_test_choose3 = pca.fit(new_test_x)
在本人的实战经验中发现,对特征进行合理的筛选和线性组合可以达到更好的精度,特征工程大法好！
接下来会介绍分类/回归模型和结果的评估方法.