机器学习（八）分类器的评估

一、伪阳性和伪阴性

        统计学上称为一型错误（伪阳性）和二型错误（伪阴性）。

         一般二型错误（伪阴性）比一型错误更严重。

二、混淆矩阵

        评价分类器好坏最直接的方法。

         准确率悖论：可能出现随便分类的准确率大于拟合准确率的情况（样本较大），所以需要更精准的方法来评价分类器

三、累计准确线CAP Cruve

         性能越好，图形越凸。越接近Crystal Ball。

        Crystal Ball：理论上的最佳模型。

        Random：完全不采用模型的随机抽样情况（基线）