评估指标

一、分类指标

1.精确率（precision）： $P=\frac{TP}{TP+FP}$ （预测为正的里面预测对的概率）

2.召回率（recall）： $R=\frac{TP}{TP+FN}$ （真实为正的里面预测对的概率）

3.F1值： $\frac{2}{F_{1}}=\frac{1}{P}+\frac{1}{R}$ $F_{\alpha }=\frac{\left ( 1+\alpha ^{2} \right )\cdot P\cdot R}{\alpha ^{2}\cdot P+R}$ （对精确率和召回率赋不同权重进行加权调和）

4.准确率（accuracy）： $\frac{TP+TN}{TP+FP+FN+TN}$

5.错误率（error rate）： $\frac{FP+FN}{TP+FP+FN+TN}$

6.ROC：绘制ROC曲线，首先对所有样本按预测概率排序，以每条样本的预测概率为阈值，计算对应的FPR和TPR，然后用线段连接。当数据量少时，绘制的ROC曲线不平滑，数据量多时，绘制的ROC曲线趋于平滑。

7.AUC：即ROC曲线下的面积，取值越大说明模型越可能将正样本排在负样本前面。AUC还有一些统计特性：AUC等于随机挑选一个正样本（P）和负样本（N）时，分类器将正样本排前面的概率。

8.对数损失是对预测概率的似然估计，其标准形式为：

$logloss=-logP(Y|X)$

二、回归指标

1.平均绝对误差

(1)平均绝对误差，也叫L1范数损失，其公式：

$MAE=\frac{1}{N}\sum_{i=1}^{N}\left | y_{i} -p_{i}\right |$

其中，N为样本数， $y_{i}$ 为第 i 条样本的真实值， $p_{i}$ 为第 i 样本的预测值。

模型使用MAE作为损失函数则是对数据分布的中值进行拟合。

(2)加权平均绝对误差(商品较多时效果最好）

$WMAE=\frac{1}{N}\sum_{i=1}^{N} w_{i}\left | y_{i} -p_{i}\right |$

2.平均绝对百分误差

$MAPE=\frac{100}{N}\sum_{i=1}^{N} \left | \frac{y_{i}-p_{i}}{y_{i}} \right |$ $y_{i}\neq 0$

3.均方根误差

$RMSE=\sqrt{\frac{1}{N}\cdot \sum_{i=1}^{N}(y_{i}-p_{i})^{2}}$

模型使用RMSE作为损失函数则是对数据分布的平均值进行拟合。

一、分类指标

二、回归指标

猜你喜欢