网格搜索调优超参数
通过对不同超参数列表进行暴力穷举搜索，并计算评估每个组合对模型性能的影响，以获得参数的最优组合。
对SVM模型调优超参数：
import matplotlib.pyplot as plt
from sklearn.model_selection import GridSearchCV
from sklearn.svm import SVC
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
import pandas as pd
import numpy as np
from sklearn.preprocessing import LabelEncoder
from sklearn.model_selection import train_test_split
'''
读取乳腺癌数据集
数据集前两列存储样本ID和诊断结果（M代表恶性，B代表良性）
3~32列包含了30个特征
'''
df = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases'
+ '/breast-cancer-wisconsin/wdbc.data',
header=None)
X = df.loc[:, 2:].values
y = df.loc[:, 1].values
le =LabelEncoder()
# 将类标从字符串(M或B)变为整数的(0,1)
y = le.fit_transform(y)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
'''
在流水线中集成标准化操作以及分类器
PipeLine对象采用元组的序列作为输入，每个元组第一个值为字符串，
可以通过字符串访问流水线的元素，第二个值为sklearn中的转换器或评估器
'''
pipe_svc = Pipeline([
('scl', StandardScaler()),
('clf', SVC(random_state=0))
])
param_range = [0.0001, 0.001, 0.01, 0.1, 1.0, 10.0, 100.0, 1000.0]
# 以字典或者字典列表的方式定义待调优的超参数
param_grid = [
{'clf__C': param_range,
'clf__kernel': ['linear']},
{'clf__C': param_range,
'clf__gamma': param_range,
'clf__kernel': ['rbf']},
]
gs = GridSearchCV(estimator=pipe_svc,
param_grid=param_grid,
scoring='accuracy',
cv=10)
gs.fit(X_train, y_train)
print(gs.best_score_)
'''
输出最佳k折交叉验证准确率：
0.9802197802197802
'''
print(gs.best_params_)
'''
最优的超参数信息：
{'clf__C': 10.0, 'clf__gamma': 0.01, 'clf__kernel': 'rbf'}
'''
clf = gs.best_estimator_
clf.fit(X_train, y_train)
print('Test accuracy: %.3f' % clf.score(X_test, y_test))
'''
Test accuracy: 0.982
'''随机搜索调优超参数
从抽样分布中抽取随机的参数组合。
from sklearn.svm import SVC
from sklearn.model_selection import RandomizedSearchCV
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
import pandas as pd
from sklearn.preprocessing import LabelEncoder
from sklearn.model_selection import train_test_split
'''
读取乳腺癌数据集
数据集前两列存储样本ID和诊断结果（M代表恶性，B代表良性）
3~32列包含了30个特征
'''
df = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases'
+ '/breast-cancer-wisconsin/wdbc.data',
header=None)
X = df.loc[:, 2:].values
y = df.loc[:, 1].values
le =LabelEncoder()
# 将类标从字符串(M或B)变为整数的(0,1)
y = le.fit_transform(y)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
'''
在流水线中集成标准化操作以及分类器
PipeLine对象采用元组的序列作为输入，每个元组第一个值为字符串，
可以通过字符串访问流水线的元素，第二个值为sklearn中的转换器或评估器
'''
pipe_svc = Pipeline([
('scl', StandardScaler()),
('clf', SVC(random_state=0))
])
param_range = [0.0001, 0.001, 0.01, 0.1, 1.0, 10.0, 100.0, 1000.0]
# 以字典的方式定义待调优的超参数
param_dist = {'clf__C': param_range,
'clf__kernel': ['linear', 'rbf'],
'clf__gamma': param_range}
rs = RandomizedSearchCV(estimator=pipe_svc,
param_distributions=param_dist,
cv=10)
rs.fit(X_train, y_train)
print(rs.best_score_)
'''
输出最佳k折交叉验证准确率：
0.9802197802197802
'''
print(rs.best_params_)
'''
最优的超参数信息：
{'clf__C': 10.0, 'clf__gamma': 0.01, 'clf__kernel': 'rbf'}
'''
clf = rs.best_estimator_
clf.fit(X_train, y_train)
print('Test accuracy: %.3f' % clf.score(X_test, y_test))
'''
Test accuracy: 0.982
'''嵌套交叉验证选择机器学习算法
结合网格搜索和交叉验证不仅可以对算法的超参数进行调优，而且还可以根据不同算法的表现来选择最适合的机器学习算法。根据研究：使用嵌套交叉验证，估计的真实误差与在测试集上的结果几乎一致。
在外围循环中，使用分层k折交叉验证将训练数据划分为训练快和测试块，训练块用于传入内部循环进行训练和超参数调优，测试块用于评估模型的最终表现。
在如下的例子中，外围循环使用分层5折交叉验证，将训练数据划分为5组。每组的训练块传入网格搜索，之后通过网格搜索获得最优的模型。5组数据对应5个模型，之后使用对应的测试块测试准确率，并将5个模型的准确率结果求平均作为该算法的表现。
SVM分类器：
gs = GridSearchCV(estimator=pipe_svc,
param_grid=param_grid,
scoring='accuracy',
cv=10)
scores = cross_val_score(gs, X, y, scoring='accuracy', cv=5)
print(scores)
'''
[0.95652174 0.97391304 0.97345133 0.96460177 0.99115044]
'''
print('CV accuracy: %.3f +- %.3f' % (np.mean(scores), np.std(scores)))
'''
CV accuracy: 0.972 +- 0.012
'''决策树分类器(只考虑决策树的深度)
from sklearn.tree import DecisionTreeClassifier
gs = GridSearchCV(estimator=DecisionTreeClassifier(random_state=0),
param_grid=[{'max_depth': [1, 2, 3, 4, 5, 6, 7, None]}],
scoring='accuracy',
cv=10)
scores = cross_val_score(gs, X, y, scoring='accuracy', cv=5)
print(scores)
'''
[0.92173913 0.89565217 0.92920354 0.94690265 0.89380531]
'''
print('CV accuracy: %.3f +- %.3f' % (np.mean(scores), np.std(scores)))
'''
CV accuracy: 0.917 +- 0.020
'''从结果可以看出，SVM用于对此数据集的未知数据进行分类是一个更好的选择