20180829
参考：https://www.nowcoder.com/courses/190
Error
Error是一个直观的计算方法，它计算了分类错误的数据点占所有数据的比例，通常是对测试集中的数据进行测算。
Disadvantage
各个类别的数据不均衡的时候，产生问题。
产生原因：对所有类别的数据全局计算了error，而不是针对每一个类别计算一个细粒度的性能。
例：二分类问题中，数据点被分为positive\negative，如果模型预测为positive，那么就有两种情况，第一种模型预测正确=>true positive；或者模型可能预测错误=>negative(false positive)。
混淆矩阵：每一个方框是相应值的占位符，这个值不和特定方框的大小有关。
使用这个矩阵，我们可以设计出解决error指标问题的新指标。
召回率recall：数据集中的positive样本中，有多少positive可以被这个模型正确的归类？
通过把true positive值除以数据中的总positive样本数量得到。
精确率precision：有多少被预测为positive的是真正的positive样本?
true positive值除以被模型预测为positive的样本总量得到。
使用混合的衡量方法来平衡准确率和召回率。
F1：对准确率和召回率计算调和平均值，当有异常值时，比算数平均值有效。当特征值在0~1之间时，调和平均值对特征标准化也很有用。
画图：检测准确率和召回率，计算曲线下的面积。最大化面积的模型一般来说性能最高。
多分类问题
召回率和准确率的定义和二分类问题中的一样。区别是现在一个数据点可以被错误的分类成好几种情况，因此false positive和false negative需要对所偶可能的错误组合进行求和。