一、什么是Python

Python是一门计算机编程语言，它在数据科学领域的应用极其广泛，具体的江湖地位可用图1来表示。

图1

限于篇幅，Python的安装和语法介绍在此就不展开了，有需要的同学可以参考这个网页。

其实我在这里单列一节出来讲Python，主要是为了展示我画的图1。

二、数据集以及模型简介

为了更具体地讨论实现，我们使用美国个人收入的普查数据来搭建模型（源自美国加州大学欧文分校，点击这里下载）。数据中具体的变量以及说明如表1所示。

表1

需要被预测的年收入分类（label）是一个二元变量，因此使用逻辑回归来解决这个二分类问题。另外为了建模方便，我们在这里只使用数值型自变量。

注意：本篇文章的完整代码这里

三、Precision，Recall以及F-score

针对一个给定的预测结果，Precision，Recall以及F-score的实现十分简单，如下所示。其中参数“pred”是模型的预测结果、“label”是真实结果、beta是F-score的beta权重。

import numpy as np

def PrecisionRecallFscore(pred, label, beta=1):
    """
    计算预测结果的Precision, Recall以及Fscore
    """
    bins = np.array([0, 0.5, 1])
    tp, fp, fn, tn = np.histogram2d(label, pred, bins=bins)[0].flatten()
    precision = tp / (tp + fp)
    recall = tp / (tp + fn)
    fscore = (1 + beta ** 2) * precision * recall / (beta ** 2 * precision + recall)
    return precision, recall, fscore

由于逻辑回归的直接预测结果是类别1的概率，即，而最终预测结果与人为选择的阈值有关，具体的如公式(1)所示。

$\hat{y_i} = \begin{cases}1, \hat{P}(y_i = 1) > \alpha \\0, else \end{cases}\tag{1}$

那么这三个指标随着 $\alpha$ 的变动情况如图2所示。图中的结果与《分类模型的评估（一）》中的讨论是一致的。

图2

另外对于一个给定的阈值，比如，不同的beta会使得F-score有不同的侧重点，如图3所示。

图3

四、ROC曲线和AUC值

对于逻辑回归模型，ROC曲线和AUC值的实现代码也很简单，如下所示。其中参数“predProb”是预测的类别1的概率，参数“label”是真实结果。可以看到这份代码不仅针对逻辑回归，对其他评分模型也是适用的。

from sklearn import metrics

def AUC(predProb, label):
    """
    计算False positive rate, True positive rate和AUC
    """
    # 得到False positive rate和True positive rate
    fpr, tpr, _ = metrics.roc_curve(label, predProb)
    # 得到AUC
    auc = metrics.auc(fpr, tpr)
    return fpr, tpr, auc

将模型结果表示出来就如图4所示。

图4

五、广告时间

这篇文章的大部分内容参考自我的新书《精通数据科学：从线性回归到深度学习》。

李国杰院士和韩家炜教授在读过此书后，亲自为其作序，欢迎大家购买。

另外，与之相关的免费视频课程请关注这个链接

分类模型的评估（三）

一、什么是Python

二、数据集以及模型简介

三、Precision，Recall以及F-score

四、ROC曲线和AUC值

五、广告时间

猜你喜欢