模型评估与模型选择
训练误差与测试误差:
引入训练误差与测试误差的概念,当损失函数给定之后,训练误差与测试误差就成为学习方法评估的标准,需要注意的是,学习方法采用的损失函数未必就是评估时采用的损失函数,让两者一致是比较理想的。
假设学习到的模型是
1. 训练误差:是关于训练数据集的平均损失
其中,
是训练样本容量
2. 测试误差:是关于测试数据集的平均损失
其中,
是测试样本容量
训练误差反映了给定问题学习的难易程度,而测试误差则反映了学习方法的准确度,因此,引入这两个概念是有意义的,是为了评估学习方法的好坏,通常将学习方法对未知数据的预测能力称为泛化能力。
过拟合与模型选择
过拟合现象:一味追求提高模型的对训练数据的预测能力,却使得所选模型的复杂度比真实模型更高,即模型包含的参数过多,以至于对已知数据的预测得很好,对未知数据预测的很差。
当模型的复杂度增大时,训练误差会逐渐减小并趋向于0;而测试误差会先减小,达到最小后又增大。所以需要找到合适的模型选择方法,比较常用的有两种:正则化与交叉验证。
针对例题1.1的推导,可参考http://blog.csdn.net/xiaolewennofollow/article/details/46757657的文章