1.损失函数与风险函数
监督学习的任务就是学习一个模型作为决策函数，对于给定的输入X，给出相应的输出f(X)，这个输出的预测值f(X)与真实值Y可能一致也可能不一致，用一个损失函数(loss function)或代价函数(cost function)来度量预测错误的程度。损失函数是f(X)与Y的非负实值函数，记作L(Y,f(X))。
机器学习常用的损失函数有以下几种：
(1)0-1损失函数(0-1 loss function)
(2)平方损失函数(quadratic loss function)
(3)绝对损失函数(absolute loss function)
(4)对数损失函数(logarithmic loss function)或者对数似然损失函数(log-likelihood function)
损失函数值越小，模型就越好。由于模型的输入、输出(X,Y)是随机变量，遵循联合分布P(X,Y)，所以损失函数的期望值是
这是理论上模型f(X)关于联合分布P(X,Y)的平均意义下的损失，称为风险函数(risk function)或期望损失(expected loss)。
损失函数度量模型一次预测的好坏，风险函数度量平均意义下模型的好坏。
学习的目标就是选择期望风险最小的模型。由于联合分布P(X,Y)是未知的，Rexp(f)不能直接计算。实际上，如果知道了联合分布P(X,Y)，可以从联合分布直接求出条件概率分布P(Y|X)，也就不需要学习了。正因为不知道联合概率分布，所以才需要进行学习。这样一来，一方面根据期望风险最小学习模型要用到联合分布，另一方面联合分布又是未知的，所以监督学习就成为一个病态问题。
给定一个训练数据集
模型f(X)关于训练数集的平均损失称为经验风险(empirical risk)或者经验损失(empirical loss)，记作Remp：
期望风险Rexp(f)是模型关于联合分布的期望损失，经验风险Remp(f)是模型关于训练样本集的平均损失。根据大数定律，当样本容量N趋于无穷时，经验风险Remp(f)趋于期望风险Rexp(f)。所以一个很自然的想法是用经验风险估计期望风险。但是，由于现实中的训练样本数目有限，甚至很小，所以用经验风险估计期望风险常常并不理想，要对经验风险进行一定的矫正。这就关系到监督学习的两个基本策略：经验风险最小化和结构风险最小化。
2.经验风险最小化和结构风险最小化在假设空间、损失函数以及训练数据集确定的情况下，经验风险函数式就可以确定。经验风险最小化的策略认为，经验风险最小的模型是最优的模型。根据这一策略，按照经验风险最小化求解最优模型就是求解最优化问题：
当样本容量足够大时，经验风险最小化能保证很好的学习效果，在现实中被广泛采用。比如，极大似然估计就是经验风险最小化的一个例子。当模型是条件概率分布，损失函数是对数函数时，经验风险最小化就等价于极大似然估计。但是，当样本空间很小是，经验风险最小化学习的效果就未必很好，会产生“过拟合(over-fitting)”现象。
结构风险最小化(structural risk minimization,SPM)是为了防止过拟合而提出来的策略。结构风险最小化等价于正则化(regularization)。结构风险在经验风险上加上表示模型复杂度的正则项(regularizer)或者罚项(penalty term)。在假设空间、损失函数以及训练数据集确定的情况下，结构风险的定义为：
其中J(f)为模型的复杂度，是定义在假设空间F上的泛函。模型f越复杂，复杂度J(f)就越大；反之，模型f越简单，复杂度J(f)就越小。也就是说，复杂度表示了对复杂模型的惩罚。是系数，用于权衡经验风险和模型的复杂度。结构风险小需要经验风险与模型复杂度同时小。结构风险小的模型往往对训练数据以及未知的测试数据都有较好的预测。
比如，贝叶斯估计中的最大后验概率估计(maximum posterior probability,MAP)就是结构风险最小化的一个例子。当模型是条件概率分布、损失函数是对数损失函数、模型复杂度由模型的先验概率表示时，结构风险最小化等价于最大后验概率估计。
结构风险最小化的策略认为结构风险最小化的模型是最优的模型。所以求最优模型，就是求解最优化问题：
这样监督学习问题就变成了经验风险或者结构风险函数的最优化问题。这时经验风险或结构风险函数是最优化的目标函数。
资料来源：李航.统计学习方法[M].北京:清华大学出版社.2012.7-9
更多资料：http://blog.csdn.net/google19890102/article/details/50522945
http://blog.csdn.net/heyongluoyao8/article/details/49429629
http://blog.csdn.net/yhdzw/article/details/39291493
http://blog.sina.com.cn/s/blog_14ca128d50102x291.html