机器学习——模型评估与选择

训练集：训练学习器参数。
测试集：训练好后，检验学习器学习效果怎么样。
均方误差：回归任务中常用的性能度量手段。对应几何上的欧式距离，基于均方误差最小化求解的方法称为最小二乘法。线性回归问题中，最小二乘法就是试图找一条直线，使所有的样本点到这条线的欧式距离最短。

一、错误率与精度

错误率：分类错误的数量 / 总数
精度：1 – 错误率

二、查准率、查全率与F1

前面叙述的主要是二类分问题

二分类问题中，根据样本预测样例与真实类别的组合可划分为四类：TP（真正例），FP（假正例），TN（真反例），FN（假反例），它们构成一个二类分混淆矩阵。
查准率（P）：你摸到的瓜是好瓜的把握是多大
$P = \frac{TP}{TP+FP}$
查全率（R）：所有好瓜中有多少比例被挑了出来
$R = \frac{TP}{TP+FN}$

注意：两个概念是相互矛盾的，一般来说很难同时满足查准率和查全率都高。

PR曲线：查准率查全率曲线。实际应用中，常绘制PR曲线来比较算法性能优劣。
在这里插入图片描述
上图中，A完全包围C，故A的性能必定优于C，但A、B的性能无法比较，对此，我们提出了平衡点概念。
平衡点（BEP）：查准率等于查全率时，对应的概率值。平衡点越大越好，故该图中A优于B。
F1度量：F1度量的一般形式是 $F_{\beta}$ 度量，其中 $\beta$ 的大小会影响式子结果对查重率和查准率的偏重，详细参考周志华机器学习第32页。

若有多个二类分混淆矩阵，如同一组样本进行多次试验，多组不同样本进行试验等情况。我们会得到多个二类分混淆矩阵。对此我们提出以下概念。
宏查准率（macro-P）、宏查全率（macro-R）、宏F1度量（macro-F）：分别求出P、R，然后取平均。
微查准率（micro-P）、微查全率（micro-R）、微F1（micro-F1）：对所有混淆矩阵的TP、FP、FN取平均，得到一组平均的 $\overline{TP}$ 、 $\overline{FP}$ 、 $\overline{FN}$ 。

三、ROC、AUC

ROC曲线：是学习性能比较的常用的另一条曲线，称受试者工作特征曲线。横轴为假正例率（FPR）和真正例率（TPR）。
注：ROC曲线绘图过程参考西瓜书第34页

真正例率（TPR）
$TPR =\frac{TP}{TP+FN}$
假正例率（FPR）
$FPR =\frac{FP}{TN+FP}$
在这里插入图片描述
对于上图，由于最外层曲线完全包裹住最内层曲线，故显然最外层的算法特性更好一些。同样，若两条曲线有交叉，我们引入了AUC的概念。
AUC：ROC线下面积。（就是那个凸多边形的面积）
排序损失（ $l_{rank}$ ） : $l_{rank}=1-AUC$

四、非均等代价

由于不同的分类错误对结果的影响程度是不同的，比如说二类分，把第0类分为第1类的代价可能比把第1类分为第0类的代价（后果）要严重一些，因此我们引入了非均等代价。
$cost_{ij}$ ：把第0类分为第1类的代价。
进而，我们引入代价敏感错误率和代价曲线
代价曲线：横轴取值为[0,1]的正例概率代价，纵轴是取值为[0,1]的归一化代价。
注：代价曲线绘图过程参考西瓜书第36页