机器学习--评估指标

1 、损失函数种类

0-1损失函数
$J (θ) = 1 Y \neq f (x)$ $J(\theta) = 1 Y\ne f(x)$ $J (θ) = 0 Y = f (x)$ $J(\theta) = 0 Y = f(x)$
感知损失函数
$J (θ) = 1 | Y - f (X) | > t$ $J(\theta) = 1 |Y-f(X)|>t$ $J (θ) = 0 | Y - f (X) | < t$ $J(\theta) = 0 |Y-f(X)|<t$
平方和损失函数
$J (θ) = \sum i = 1 m (h θ (x (i) - y (i)) 2$ $J(\theta) = \sum_{i=1}^m(h_\theta(x^{(i)}-y^{(i)})^2$
绝对值损失函数
$J (θ) = \sum i = 1 m | h θ (x (i) - y (i) |$ $J(\theta) = \sum_{i=1}^m|h_\theta(x^{(i)}-y^{(i)}|$
对数指标
$J (θ) = \sum i = 1 m (y (i) l o g h θ (x (i)))$ $J(\theta) = \sum_{i=1}^m(y^{(i)}logh_\theta(x^{(i)}))$

2 、性能指标

2.1 错误率与精度：

m个样本，有a个分错。
错误率： $E = a/m$
精度： $acc = 1-a/m$

2.2 查准率、查全率和F1：

TP：真正例 / TN：真反例
FP：假正例 / FN：假反例
查准率： $P = \frac{TP}{TP+FP}$
查全率： $R = \frac{TP}{TP+FN}$
F1是查准率和查全率的调和平均数：

1 F 1 = 1 2 (1 P + 1 R), 即 ： F 1 = 2 \times P \times R P + R

$\frac{1}{F1} = \frac{1}{2}(\frac{1}{P} + \frac{1}{R}), 即：F1 = \frac{2\times P \times R}{P+R}$
与算术平均数相比，调和平均数更加重视较小值。如果对查全率和查准率有偏好，引出了加权调和平均数：

F β = ( 1 + β 2 ) \times P \times R ( β 2 \times P ) + R

$F_{\beta} = \frac{(1+\beta^2) \times P \times R}{(\beta^2 \times P) + R}$
其中

β $\beta$ 大于1时候，查全率R有更大的影响，小于1时查准率P会有更大的影响。

2.3 ROC和AUC：

将m+个正例和m-个负例放进模型，然后预测值从小到大排列，模型目标是让正例尽可能小，负例尽可能大，从最小样例开始，如果是正例，就向上移一格，也就是 $(x + \frac{1}{m_+},y)$ ，坐标(0,1)就是所有正例都排在负例之前的理想情况，如果是负例就向右移动一格 $(x,y+\frac{1}{m_-})$ 。
这里写图片描述
ROC曲线下的面积就是AUC值，AUC越接近1证明模型效果越好。

2.4 回归模型评价指标

MSE：均方差
MAE：平均绝对值误差
RMSE： $\sqrt{MSE}$
TSS：总平方和，表示样本之间的差异情况。
RSS：残差平方和，表示预测值和样本值之间的差异情况
$R^2$ ：取值范围(负无穷,1]，值越大表示模型越拟合训练数据;最优解是1;当模型预测为随机值的时候，有可能为负;若预测值恒为样本期望，为0

R 2 = 1 - R S S T S S = 1 - \sum ( y i - y ̂ i ) 2 \sum ( y i - y ⎯ ⎯ ) 2

$R^2 = 1 - \frac{RSS}{TSS} = 1 - \frac{\sum(y_i -\hat{y}_{i})^2}{\sum(y_i - \overline{y})^2}$

3 、评估方法

3.1 留出法

划分出互斥的训练集和测试集，注意两个集合的分布尽量保持一致，通常采用分层采样的方法。通过若干次的随机划分得到比较稳定可靠的结果。

3.2 交叉验证法

p次k折的交叉验证法，就是k-1个子集作为训练集，剩下的1个作为测试集。

3.3 自助法

有放回的采用，产生更多的测试机，bootstrapping，同时有一部分的数据不会被采集到，可以作为外包估计。