模型评价之四——模型评价量化指标（最近更新：2019/11/5）

〇、写在前面

参考资料：

1. 《机器学习》周志华

一、分类器评价指标

1. 准确率/精度：正确预测的样本数/样本数
2. 平衡准确率：每个类上获得的召回率的平均值
3. average_precision_score
4. （查准率）精确率： $\displaystyle precision=\frac{tp}{tp+fp}$，直观地说是分类器不将负样本标记为正样本的能力。
5. （查全率）召回率： $\displaystyle recall=\frac{tp}{tp+fn}$，直观上是分类器发现所有正样本的能力。
6. F1： $F1 = \displaystyle\frac{2 (precision \times recall)} {precision + recall}$，实际上是精确率和召回率的调和平均。
7. $F_\beta$： $F_\beta=\displaystyle\frac{(1+\beta^2)\times precision \times recall} {\beta^2\times precision + recall}$，加权调和平均，考虑了偏好， $\beta>1$时查全率更偏好。
8. logloss：也叫做逻辑损失或交叉熵损失。 $\displaystyle logloss=-\frac{1}{m}\sum^m_{i=1}(y_ilog(p_i)*\delta+(1-y_i)log(1-p_i))$或 $logloss=-log P(yt|yp) = -(yt log(yp) + (1 - yt) log(1 - yp))$

brier_score_loss

jaccard_score

9. roc_auc_score：将测试样本排序，越可能是正例的排在越前面，定义两个概念：真正例率 $TPR=\frac{TP}{TP+FN}$，假正例率 $FPR=\frac{FP}{TN+FP}$，则有roc曲线（本图来源《机器学习》周志华）
   AUC为ROC曲线以下的面积，可以看出AUC越大，模型的效果越好。

二、聚类器评价指标

2.1 外部指标

$\begin{array}{l}{\left.a=|S S|, \quad S S=\left\{\left(\boldsymbol{x}_{i}, \boldsymbol{x}_{j}\right) | \lambda_{i}=\lambda_{j}, \lambda_{i}^{*}=\lambda_{j}^{*}, i<j\right)\right\}} \\ {\left.b=|S D|, \quad S D=\left\{\left(\boldsymbol{x}_{i}, \boldsymbol{x}_{j}\right) | \lambda_{i}=\lambda_{j}, \lambda_{i}^{*} \neq \lambda_{j}^{*}, i<j\right)\right\}} \\ {\left.c=|D S|, \quad D S=\left\{\left(\boldsymbol{x}_{i}, \boldsymbol{x}_{j}\right) | \lambda_{i} \neq \lambda_{j}, \lambda_{i}^{*}=\lambda_{j}^{*}, i<j\right)\right\}} \\ {\left.d=|D D|, \quad D D=\left\{\left(\boldsymbol{x}_{i}, \boldsymbol{x}_{j}\right) | \lambda_{i} \neq \lambda_{j}, \lambda_{i}^{*} \neq \lambda_{j}^{*}, i<j\right)\right\}}\end{array}$
其中 $(x_i,x_j)$表示一对样本，将他们放到聚类模型 $\lambda$和参考模型 $\lambda^\star$中有四种情况。
由于每个样本对 $(x_i,x_j)$ $(i < j)$仅能出现在一个集合中，因此有a+b+c+d= m(m- 1)/2成立。

2.1.1 Jaccard系数(Jaccard Coefficient, 简称JC)

$\mathrm{JC}=\frac{a}{a+b+c}$
[0,1]，越大越好

2.1.2 FM指数(Fowlkes and Mallows Index,简称FMI)

$\mathrm{FMI}=\sqrt{\frac{a}{a+b} \cdot \frac{a}{a+c}}$
[0,1]，越大越好

2.1.3 Rand指数(Rand Index,简称RI)

用于评价相似度。
$\mathrm{RI}=\frac{2(a+d)}{m(m-1)}$
[0,1]，越大越好

2.1.4 调整Rand指数（ARI）

ARI = (RI - Expected_RI) / (max(RI) - Expected_RI)
[-1,1]

2.1.5 互信息

2.1.6 同质性、完备性与v-测度

[0,1]，越大越好

2.1.7 Fowlkes-Mallows scores

$\text{FMI} = \frac{\text{TP}}{\sqrt{(\text{TP} + \text{FP}) (\text{TP} + \text{FN})}}$

2.1.8 轮廓系数

a表示聚类正确，b表示聚类错误。则轮廓系数 $s = \frac{b - a}{max(a, b)}$

2.1.9 Calinski-Harabasz指数

2.1.10 Davies-Bouldin指数

2.1.11 可能性矩阵

2.2 内部指标

考虑聚类结果的簇划分 $C = {C_1, C_2,...,C_k}$,定义
$\begin{aligned} \operatorname{avg}(C) &=\frac{2}{|C|(|C|-1)} \sum_{1 \leqslant i<j \leqslant|C|} \operatorname{dist}\left(\boldsymbol{x}_{i}, \boldsymbol{x}_{j}\right) \\ \operatorname{diam}(C) &=\max _{1 \leqslant i<j \leqslant|C|} \operatorname{dist}\left(\boldsymbol{x}_{i}, \boldsymbol{x}_{j}\right) \\ d_{\min }\left(C_{i}, C_{j}\right) &=\min _{\boldsymbol{x}_{i} \in C_{i}, \boldsymbol{x}_{j} \in C_{j}} \operatorname{dist}\left(\boldsymbol{x}_{i}, \boldsymbol{x}_{j}\right) \\ d_{\operatorname{cen}}\left(C_{i}, C_{j}\right) &=\operatorname{dist}\left(\boldsymbol{\mu}_{i}, \boldsymbol{\mu}_{j}\right) \end{aligned}$

2.2.1 DB指数(Davies-Bouldin Index,简称DBI)

$\mathrm{DBI}=\frac{1}{k} \sum_{i=1}^{k} \max _{j \neq i}\left(\frac{\operatorname{avg}\left(C_{i}\right)+\operatorname{avg}\left(C_{j}\right)}{d_{\operatorname{cen}}\left(\boldsymbol{\mu}_{i}, \boldsymbol{\mu}_{j}\right)}\right)$
越小越好

2.2.2 Dunn指数(Dunn Index,简称DI)

$\mathrm{DI}=\min _{1 \leqslant i \leqslant k}\left\{\min _{j \neq i}\left(\frac{d_{\min }\left(C_{i}, C_{j}\right)}{\max _{1 \leqslant l} \operatorname{diam}\left(C_{l}\right)}\right)\right\}$
越大越好

2.2.3 统计量

1. $r^2$统计量：类间离差平方和之和在总离差平方和中所占的比例，该值越大说明聚类效果越好。该值总是随着聚类个数的减少而变小，故可以选择一个骤降点作为聚类个数的选择。
2. 半偏 $r^2$统计量：是上一步 $r^2$与这一步 $r^2$值之差，故该值越大，说明上一次聚类效果越好。
3. 伪F统计量：越大说明这次聚类越好。
4. 伪 $t^2$统计量：越大说明这次聚类越好。

adjusted_mutual_info_score
adjusted_rand_score
completeness_score
fowlkes_mallows_score
homogeneity_score
mutual_info_score
normalized_mutual_info_score
v_measure_score

三、回归器评价指标

1. 均方误差（mean-square error, MSE）： $\displaystyle MSE(y,\hat y)=\frac{1}{m}\sum_{i=1}^m(y_i-\hat y_i)^2$
2. 最大误差： $max\_error=max(|y_i-\hat y_i|)$
3. 平均绝对误差(mean_absolute_error)： $\displaystyle MAE=\frac{1}{m}\sum_{i=1}^m|y_i-\hat y_i|$

1.explained_variance_score
3.mean_absolute_error

5.mean_squared_log_error
6.median_absolute_error
7.r2_score

• ROC和AUC
• 代价敏感错误率和代价曲线