机器学习常用的评估指标
回归算法常见的评估指标
二分类算法常见的评估指标
1、混淆矩阵（Confuse Matrix）
- （1）若一个实例是正类，并且被预测为正类，即为真正类TP(True Positive )
- （2）若一个实例是正类，但是被预测为负类，即为假负类FN(False Negative )
- （3）若一个实例是负类，但是被预测为正类，即为假正类FP(False Positive )
- （4）若一个实例是负类，并且被预测为负类，即为真负类TN(True Negative )
2、准确率（Accuracy）
准确率是常用的一个评价指标，但是不适合样本不均衡的情况。
A c c u r a c y = T P + T N T P + T N + F P + F N Accuracy = \frac{TP + TN}{TP + TN + FP + FN} Accuracy=TP+TN+FP+FNTP+TN
3、精确率（Precision）
又称查准率，正确预测为正样本（TP）占预测为正样本(TP+FP)的百分比。
P r e c i s i o n = T P T P + F P Precision = \frac{TP}{TP + FP} Precision=TP+FPTP
4、召回率（Recall）
又称为查全率，正确预测为正样本（TP）占正样本(TP+FN)的百分比。
R e c a l l = T P T P + F N Recall = \frac{TP}{TP + FN} Recall=TP+FNTP
5、F1-Score
精确率和召回率是相互影响的，精确率升高则召回率下降，召回率升高则精确率下降，如果需要兼顾二者，就需要精确率、召回率的结合F1-Score。
F 1 − S c o r e = 2 1 P r e c i s i o n + 1 R e c a l l = 2 ⋅ P r e c i s i o n ⋅ R e c a l l P r e c i s i o n + R e c a l l F1-Score = \frac{2}{\frac{1}{Precision} + \frac{1}{Recall}} = \frac{2 \cdot Precision \cdot Recall}{Precision+Recall} F1−Score=Precision1+Recall12=Precision+Recall2⋅Precision⋅Recall
6、P-R曲线（Precision-Recall Curve）
P-R曲线是描述精确率和召回率变化的曲线
将样本按照按照预测为正例的概率值从大到小进行排序，从第一个开始，逐个将当前样本点的预测值设置为阈值，有了阈值之后，即可得出混淆矩阵各项的数值，然后计算出P和R，以R为横坐标，P为纵坐标，绘制于图中，即可得出P-R曲线，示意图如下。
当一个模型a的P-R曲线完全包住另一个模型b的P-R曲线时，即可认为a优于b。其他情况下，可以使用平衡点，也即F1值，或者曲线下的面积来评估模型的好坏。
完美二分类数据得到的P-R曲线与坐标轴构成的图形应当是一个正方形。
7、ROC（Receiver Operating Characteristic）
ROC空间将假正例率（FPR）定义为 X 轴，真正例率（TPR）（又叫召回率）定义为 Y 轴。
- 假正例率（FPR）：错误预测为正样本（FP）占负样本(TN+FP)的百分比
F P R = F P F P + T N \displaystyle \mathrm FPR = {\frac {\mathrm {FP}} {\mathrm {FP} + \mathrm {TN}}} FPR=FP+TNFP - 真正例率（TPR）：正确预测为正样本（TP）占正样本(TP+FN)的百分比
T P R = T P T P + F N \displaystyle \mathrm TPR = {\frac {\mathrm {TP}} {\mathrm {TP} + \mathrm {FN}}} TPR=TP+FNTP
类似的，将样本按照按照预测为正例的概率值从大到小进行排序，从第一个开始，逐渐的将其和其之前的点预测为正例，其他的预测为反例，这样就能计算出TPR和FPR，以FPR为横坐标，TPR为纵坐标，即可绘制出ROC（Receiver Operating Characteristic）曲线，示意图如下。
完美二分类数据得到的ROC应当是一个垂直的曲线。
8、AUC（Area Under ROC Curve）
ROC曲线下面覆盖的面积称为AUC（Area Under ROC Curve）。用于评估模型的好坏，面积的计算可以通过梯形去插值计算，公式和示意图如下：
A U C = 1 2 ∑ i = 1 m − 1 ( x i + 1 − x i ) ⋅ ( y 1 + y i + 1 ) AUC = \frac{1}{2} \sum_{i=1}^{m-1} (x_{i+1}-x_i) \cdot (y_1+y_{i+1}) AUC=21i=1∑m−1(xi+1−xi)⋅(y1+yi+1)
又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。AUC越接近1.0，检测方法真实性越高;等于0.5时，则真实性最低，无应用价值。
金融风控预测类常见的评估指标
对于金融风控预测类常见的评估指标如下:
1、KS(Kolmogorov-Smirnov)
KS统计量由两位苏联数学家A.N. Kolmogorov和N.V. Smirnov提出。在风控中，KS常用于评估模型区分度。区分度越大，说明模型的风险排序能力（ranking ability）越强。 K-S曲线与ROC曲线类似，不同在于
- ROC曲线将真正例率和假正例率作为横纵轴
- K-S曲线将真正例率和假正例率都作为纵轴，横轴则由选定的阈值来充当。
公式如下：
K S = m a x ( T P R − F P R ) KS=max(TPR-FPR) KS=max(TPR−FPR)
KS不同代表的不同情况，一般情况KS值越大，模型的区分能力越强，但是也不是越大模型效果就越好，如果KS过大，模型可能存在异常，所以当KS值过高可能需要检查模型是否过拟合。
以下为KS值对应的模型情况，但此对应不是唯一的，只代表大致趋势。
| KS（%） | 好坏区分能力 |
|---|---|
| 20以下 | 不建议采用 |
| 20-40 | 较好 |
| 41-50 | 良好 |
| 51-60 | 很强 |
| 61-75 | 非常强 |
| 75以上 | 过于高，疑似存在问题 |
2、ROC
3、AUC
聚类算法常见的评估指标
scikit-learn具体实现
| Scoring | Function | Comment |
|---|---|---|
| Classification | ||
| accuracy | metrics.accuracy_score | |
| f1 | metrics.f1_score | for binary targets |
| precision etc. | metrics.precision_score | suffixes apply as with ‘f1’ |
| recall etc | metrics.recall_score | suffixes apply as with ‘f1’ |
| Regression | ||
| neg_mean_absolute_error | metrics.mean_absolute_error | |
| neg_mean_squared_error | metrics.mean_squared_error |
参考文献
【1】模型评估指标：P-R曲线和ROC曲线
【2】Datawhale零基础入门金融风控 Task1 赛题理解
【3】3.3. Metrics and scoring: quantifying the quality of predictions