《机器学习》（周志华）读书笔记---模型评估与选择

1、评估方法

1.1留出法

D = SUT， S∩T = Ø 

S ： 训练集

T ： 测试集

注意：保持数据分布一致性

1.2 交叉验证法

D = D1 U D2 U D3........U D_{k ,} D_i ∩  D_j = Φ

k-1 个子集的并集为训练集，余下的子集为测试集

k值常用取值 10, 5, 20

1.3 自助法

扫描二维码关注公众号，回复： 7433050 查看本文章

m个样本的数据集，每次随机从D中挑选一个样本，将其拷贝放入D^',然后再将该样本放回初始数据集中，使得该样本在下次采样中仍有可能被采到，这个过程重复m次得到包含m个样本的数据集D^',

D^' 训练集， D/D^' 测试集

应用：数据集较小，难以有效划分训练测试集时。

2、性能度量

均方误差（回归任务）

错误率 、精度 （分类任务）

查准率、查全率与F1

ROC 与AUC

代价敏感错误率与代价曲线（不同类型的错误所造成的结果不同）

3、比较检验

3.1 假设检验

3.2 交叉验证t检验

3.3 McNemar检验

3.4 Friedman检验与Nemenyi后续检验

4、偏差与方差