调用sklearn库分类学习

在《python机器学习及实践》一书的学习中,小豆桑发现似乎一些学习算法由于要调用库,会有类似的过程,于是记录下来,以便时间长后的查阅。

1. 数据预处理
这是一个非常复杂的过程,实际应用中可能大量时间都用在数据收集清理上。
此处简单举例,使用pandas来读取数据。
Read CSV (comma-separated) file into DataFrame
把以逗号分隔的数据读入数据列表
data = pandas.read_csv(‘ https://archive.ics.uci.edu/m1/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data ’,names=column_names)
至此,数据就成为了一个矩阵。

2. 准备测试和训练数据
在这个过程中,通常包括数据的标准化、测试数据和训练的随机采样。
sklearn中的train_test_split函数用于将矩阵随机划分为训练子集和测试子集,并返回划分好的训练集测试集样本和训练集测试集标签。
格式:
X_train,X_test, y_train, y_test =cross_validation.train_test_split(train_data,train_target,test_size=0.3, random_state=0)
参数解释:
train_data:被划分的样本特征集
train_target:被划分的样本标签
test_size:如果是浮点数,在0-1之间,表示样本占比;如果是整数的话就是样本的数量
random_state:是随机数的种子。
随机数种子:其实就是该组随机数的编号,在需要重复试验的时候,保证得到一组一样的随机数。比如你每次都填1,其他参数一样的情况下你得到的随机数组是一样的。但填0或不填,每次都会不一样。
随机数的产生取决于种子,随机数和种子之间的关系遵从以下两个规则:
种子不同,产生不同的随机数;种子相同,即使实例不同也产生相同的随机数。

from sklearn.linear_model import StandardScaler
ss = StandardScaler()
x_train = ss.fit_transform(x_train)

3. 调用分类模型进行预测
这里以线型分类器来举例,也可以替换成其他分类器。
lr = LogisticRegression()
lr.fit(x_train,y_train)
y_predict = lr.predict(x_test)

4. 性能分析
1)使用模型自身具有的评分函数来分析。
lr.score(x_test, y_test)
2)利用classification_report模块
classification_report(y_test, y_predict,target_name=['Benign', 'Malignant'])
该函数对于初学的小豆桑来说还是略微有些复杂,于是特此说明如下:
召回率和精确率表现情况的衡量
>>> from sklearn.metrics import classification_report
>>> y_true = [0, 1, 2, 2, 2]
>>> y_pred = [0, 0, 2, 2, 1]
>>> target_names = ['class 0', 'class 1', 'class 2']
>>> print(classification_report(y_true, y_pred, target_names=target_names))
             precision recall f1-score support

    class 0 0.50 1.00 0.67 1
    class 1 0.00 0.00 0.00 1
    class 2 1.00 0.67 0.80 3

avg / total 0.70 0.60 0.61 5

对准确率、精确率、召回率的解释
假如某个班级有男生80人,女生20人,共计100人.目标是找出所有女生.
现在某人挑选出50个人,其中20人是女生,另外还错误的把30个男生也当作女生挑选出来了.


-----------------------------------------分割线,此处举例借用当时看到一篇博客的例子,但是一时没有记起来是哪篇,等记起来了再说T-T-------------------------

准确率:分正确的人数占总人数的比例
精确率:分辨为女生中是真女生的比例
召回率:真女生中被分辨出来的比例
F1值就是精确率和召回率的调和平均值
F1越大越好
发布了3 篇原创文章 · 获赞 0 · 访问量 807

猜你喜欢

转载自blog.csdn.net/jessie_gg/article/details/78277548