版权声明：本文为博主原创文章，未经允许，不得转载！欢迎留言附带链接转载！ https://blog.csdn.net/qq_15698613/article/details/89152182
机器学习中的性能比较为什么 比较复杂？
- 首先，我们希望比较的是泛化 性能，然而通过实验评估获得的只是测试集上的性能，两者对比结果可能未必相同
- 测试集上的性能与测试集本身选择有很大的关系，不同大小的测试集会得到不同的结果，即便是相同大小的测试集，若测试样例不同，测试结果也可能不同
- 很多机器学习算法本身有一定的随机性，即便用相同的参数设置，在同一个测试集多次运行，其 结果也可能不同。
统计假设检验（hypothesis test）为学习器性能 比较提供了重要依据！
假设检验
假设检验中的“假设”是对学习器 泛化错误率分布额某种判断或者猜想。现实任务中并不知道学习器的 泛化错误率，只能获知其测试错误率，泛化错误率与测试错误率相差很近，因此根据测试错误率推出泛化错误率 的分布。
泛化错误率为的学习器在一个样本上犯错的概率是
测试错误率意味着m个测试样本中恰好有
个被误分类
假定独立采样，泛化错误率为的学习器将其中
个样本误分类，其余样本全部分类正确的概率是