对学习器的泛化性能进行评估，不仅仅需要有效可行的实验估计方法，还需要有衡量模型泛华能力的评价标准，这就是性能度量。我们通常会根据不同的业务选出适合的业务指标。
评价指标大概有
1、回归的有：RMSE(平方根误差)、MAE（平均绝对误差）、MSE(平均平方误差)、Coefficient of determination (决定系数)。
2、分类的有：精度、召回率、精确率、F值、ROC-AUC 、混淆矩阵、PRC。
3、聚类的有：兰德指数、互信息、轮廓系数。
分类
1.精度（Accuracy）
意义：被正确分类的样本占总样本的比。
优点：简单
缺点：精度只是简单地计算出比例，但是没有对不同类别进行区分。因为不同类别错误代价可能不同。例如：判断这个病人是不是病危，如果不是病危错误判断为病危，那只是损失一点医务人员的时间和精力，如果是把病危的人判断为非病危状态，那损失的就是一条人命。他们之间存在重要性差异，这时候就不能用精度。对于样本不均衡的情况，也不是用精度来衡量。例如：有A类1000个，B类5个，如果我把这1005个样本都预测成A类，正确率=1000/1005=99.5%。
2. 混淆矩阵
混淆矩阵(Confusion Matrix)
|
|
预测为正样本 |
预测为负样本 |
| 标签为正样本 |
TP（True Positive对的正样本） |
FN（false Negative错的负样本） |
| 标签为负样本 |
FP（False Positive错的正样本） |
TN（true Negative 对的负样本） |
（1）.True Postitve Rate(真正率)：正样本中被预测对比例。
（2）.False Negative Rate(假负率)：正样本被预测错的比例。
（3）.False Positive Rate(假正率)：负样本被预测错的比例。
（4）.True Negative Rate(真负率)：负样本被预测对的比例。
（5）.Accuracy（准确率）：就是精度。
（6）.Average per-class accuracy（平均准确率）：每个类别下的准确率的算术平均。
3.精确率(Precision)
意义：查准。就是预测出来为正样本的结果中，有多少是正确分类。
通俗理解：做个谨慎认真的人，分类阈值较高
4.召回率（recall）
意义：真实为正样本的结果中，有多少是正确分类。
通俗理解：宁杀错不放过，分类阈值较低
但是，两者有时候就比较难去平衡到。
怎么说？
比如说，10个好苹果，10个坏苹果。
|
|
预测为好苹果 |
预测为坏苹果 |
| 标签为好苹果 |
2 |
8 |
| 标签为坏苹果 |
0 |
10 |
准确率为（2+10）/20=0.6；
精确率为（2）/2=1
召回率为（2）/10=0.2
虽然 精确率很高，但是不能说明这个模型很好。
再举个栗子。
10个好苹果，10个坏苹果。
|
|
预测为好苹果 |
预测为坏苹果 |
| 标签为好苹果 |
10 |
0 |
| 标签为坏苹果 |
10 |
0 |
准确率为（10）/20=0.5；
精确率为（10）/20=0.5
召回率为（10）/10=1
虽然召回率很高，但是不能说明这个模型很好。
所谓鱼与熊掌不兼得。（虽然这两个栗子都有点极端）。但是如果你想检测更多准确地正样本出来，出错是必不可少的。
这时候下面几个指标就出来了~~~
5.F值（F1-score）
通俗的语言就是：β 越大，Recall的权重越大， 越小，Precision的权重越大。
由于Fβ Score 无法直观反映数据的情况，同时业务含义相对较弱，实际工作用到的不多。
意义：精确率与召回率的调和平均值，它的值更接近于Precision与Recall中较小的值
（β=1）
补充：调和平均数是各变量值倒数的算术平均数的倒数，因而也称为倒数平均数。其计算形式也有简单调和平均数和加权调和平均数两种。加权调和平均数按照调和平均数的定义，是各变量值倒数的加权算术平均数的倒数。
6.ROC
ROC叫作受试者工作特性曲线，反应敏感度和特异度连续变量的综合指标。纵坐标为敏感度，横坐标是特异度。
ROC是一个以TPR为纵坐标，FPR为横坐标构造出来的一幅图。
我们当然希望TPR越高越好，因为证明覆盖率高；我们也希望FPR越低越好，这证明精确率高。
在鱼与熊掌不能兼得的时候，我们找一个界值，这个值越靠近左上角越好。
简单，直观，可以通过图直接判断。而且把灵敏度和特异性结合，可以同时衡量两者关系。一般来说，如果ROC是光滑的，那么基本可以判断没有太大的overfitting。
ROC曲线和它相关的比率
(a)理想情况下，TPR应该接近1，FPR应该接近0。
ROC曲线上的每一个点对应于一个threshold，对于一个分类器，每个threshold下会有一个TPR和FPR。
比如Threshold最大时，TP=FP=0，对应于原点；Threshold最小时，TN=FN=0，对应于右上角的点(1,1)
(b)随着阈值theta增加，TP和FP都减小，TPR和FPR也减小，ROC点向左下移动；
注：ROC可以在正负样本非均衡中使用原因是：纵坐标TPR只是正样本的正确预测概率，而FPR只是负样本中预测错误的概率，和比例没有关系。
7.AUC
AUC(Area under Curve)：Roc曲线下的面积，介于0.1和1之间。Auc作为数值可以直观的评价分类器的好坏，值越大越好。
Auc = 1 ，完美分类，对应于roc可以完全做到（1，1）的点。
0.5<Auc<1，优于随机猜测。
AUC的物理意义是任取一个正例和任取一个负例，正例排序在负例之前的概率。AUC反应的是分类器对样本的排序能力。另外值得注意的是，AUC对样本类别是否均衡并不敏感，这也是不均衡样本通常用AUC评价分类器性能的一个原因。
8.比较PR曲线，F1值，ROC曲线，AUC值
PR线是以Precision为纵坐标、Recall为横坐标。ROC是以为TPR为纵坐标、FPR为横坐标。在ROC空间，ROC曲线越凸向左上方向效果越好，因为这说明精确率高且覆盖率大。与ROC曲线左上凸不同的是，PR曲线是右上凸效果越好。
ROC和PR曲线都被用于评估机器学习算法对一个给定数据集的分类性能，每个数据集都包含固定数目的正样本和负样本。而ROC曲线和PR曲线之间有着很深的关系。
定理1：对于一个给定的包含正负样本的数据集，ROC空间和PR空间存在一一对应的关系，也就是说，如果recall不等于0，二者包含完全一致的混淆矩阵。我们可以将ROC曲线转化为PR曲线，反之亦然。
定理2：对于一个给定数目的正负样本数据集，一条曲线在ROC空间中比另一条曲线有优势，当且仅当第一条曲线在PR空间中也比第二条曲线有优势。（这里的“一条曲线比其他曲线有优势”是指其他曲线的所有部分与这条曲线重合或在这条曲线之下。）
当正负样本差距不大的情况下，ROC和PR的趋势是差不多的，但是当负样本很多的时候，两者就截然不同了，ROC效果依然看似很好，但是PR上反映效果一般。解释起来也简单，假设就1个正例，100个负例，那么基本上TPR可能一直维持在100左右，然后突然降到0.如图，(a)(b)分别为正负样本1:1时的ROC曲线和PR曲线，二者比较接近。而(c)(d)的正负样本比例不为为1:1，这时ROC曲线效果依然很好，但是PR曲线则表现的比较差。这就说明PR曲线在正负样本比例悬殊较大时更能反映分类的性能。
两者都要看光不光滑，如果不光滑说明有很大问题是过拟合。
AUC(Area Under Curve)即指曲线下面积占总方格的比例。有时不同分类算法的ROC曲线存在交叉，因此很多时候用AUC值作为算法好坏的评判标准。面积越大，表示分类性能越好。
F1兼顾了分类模型的准确率和召回率，可以看作是模型准确率和召回率的调和平均数，最大值是1，最小值是0。
--摘自
http://www.fullstackdevel.com/computer-tec/data-mining-machine-learning/501.html
参考：
https://blog.csdn.net/heyongluoyao8/article/details/49408319
https://blog.csdn.net/a819825294/article/details/51699211
https://www.zhihu.com/search?type=content&q=RMSE%20MAE%20MSE
https://zhuanlan.zhihu.com/p/36305931