对学习器的泛化性能进行评估，不仅仅需要有效可行的实验估计方法，还需要有衡量模型泛华能力的评价标准，这就是性能度量。我们通常会根据不同的业务选出适合的业务指标。
评价指标大概有
1、回归的有：RMSE(平方根误差)、MAE（平均绝对误差）、MSE(平均平方误差)、Coefficient of determination (决定系数)。
2、分类的有：精确率、召回率、准确率、F值、ROC-AUC 、混淆矩阵、PRC。
3、聚类的有：兰德指数、互信息、轮廓系数。
回归：f是学习器，D是训练集，m是样本数，yi是真是标记，是学习器预测出来的。
1.绝对误差与相对误差
2.MAE（平均绝对误差）又被称为 L1范数损
优点：可以把绝对误差和相对误差里面正负相互抵消的问题去掉。
缺点：因为用了绝对值，所以会有一些点无法求导~
3.MSE(平均平方误差)
优点：解决了不光滑的问题。
缺点：MSE与我们的目标变量的量纲不一致
4.RMSE（平方根误差）
优点：解决了上述的缺点。
缺点：它是使用平均误差，而平均值对异常点（outliers）较敏感，如果回归器对某个点的回归值很不理性，那么它的误差则较大，从而会对RMSE的值有较大影响，即平均值是非鲁棒的。
5.Coefficient of determination (决定系数)
决定系数是相关系数的平方。 相关系数是用来描述两个变量之间的线性关系的，但决定系数的适用范围更广，可以用于描述非线性或者有两个及两个以上自变量的相关关系。
SST = SSR + SSE
推导：
如果R2 是0 说明因变量的结果是一个常数。如果结果是1，说明预测出来的就是原本函数。如果是0-1之间的，就是代表模型的好坏。
缺点：均值对异常点（outliers）较敏感，如果样本中有一些异常值出现，会对以上指标的值有较大影响，即均值是非鲁棒的。
解决评估指标鲁棒性问题
我们通常用一下两种方法解决评估指标的鲁棒性问题：
剔除异常值
设定一个相对误差 ，当该值超过一定的阈值时，则认为其是一个异常点，剔除这个异常点，将异常点剔除之 后。再计算平均误差来对模型进行评价。
使用误差的分位数来代替
如利用中位数来代替平均数。例如 MAPE:
MAPE是一个相对误差的中位数，当然也可以使用别的分位数。
参考网站：