机器学习与数据挖掘-作业二-第二章 模型评估与选择

1、以二分类任务为例，假定数据集D包含1000个样本，将其划分为训练集S和测试集T，其中S包含800个样本， T包含200个样本，用S进行训练后，如果模型在T上有50个样本分类错误，那么模型的正确率为_____75%_______。                                                   

2、PR（Precision-Recall）曲线的横轴和纵轴分别是_____查全率______和_____查准率_______。

3、ROC曲线的横轴和纵轴分别是______假正例率_____和_____真正例率_____。

4、对于二分类问题，可将样本根据其真实类别与学习器预测类别的组合划分为真正例（true positive，TP）、假正例（false positive，FP）、真反例（true negative，TN）和假反例（false negative，FN）四种情形，请画出分类结果的混淆矩阵。

 

5、F1度量是综合考虑了查准率和查全率的性能度量指标，请写出其公式。

6、有多种因素可能导致过拟合，其中最常见的情况是由于________学习能力过于强大___________，以至于把训练样本所包含的不太一般的特性都学到了，而欠拟合则通常是由于__________学习能力低下____________而造成的。

7、查准率和查全率是分类任务中常用的性能度量指标，请写出其公式并对这两种指标进行分析。

查准率和查全率是一对矛盾的度量，一般来说，查准率高时，查全率往往偏低，而查全率高时，查准率往往偏低。

8. 简述k折交叉验证法。

答：“”交叉验证法”先将数据集划分为k个大小相似的互斥子集，每个子集都尽可能保持数据分布的一致性，即从数据集中通过分层采样得到。然后，每次用k-1个子集的并集作为训练集，余下的那个子集作为测试集，这样就可以获得k组训练集/测试集，从而可以进行k次训练和测试，最终返回的是这k个测试结果的均值。显然，交叉验证法评估结果的稳定性和保真性在很大程度上取决于k的取值，为强调这一点，通常把交叉验证法称为“k折交叉验证”。

9、分析偏差和方差的含义。

答：偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力。

方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响。

10、对于一个三分类问题，数据集的真实标签和模型预测标签如下：

真实标签	1	1	2	2	2	3	3	3	3
预测标签	1	2	2	2	3	3	3	1	2

分别计算模型的精确率、召回率、F1值以及它们的宏平均和微平均。

答：