损失函数及经验风险和结构风险

一、常见的损失函数

　常见的损失函数见这里：https://www.cnblogs.com/always-fight/p/9099704.html

 

二、关于经验风险和结构风险最小化

　模型\(f(X)\)关于训练数据集的平均损失称为经验风险：\(R(f) = 1/N\sum_{i=1}^{N}L(y_i,f(x_i))\)

　关于如何选择模型，监督学习有两种策略：经验风险最小化和结构风险最小化。

　　经验风险最小化的策略认为经验风险最小的模型就是最好的模型：\(min 1/N\sum_{i=1}^{N}L(y_i,f(x_i))\)，当样本量很小时，经验风险最小化模型容易产生过拟合。

　　结构风险最小化模型策略是在经验风险最小化策略的基础上加了正则化项：\(R(f) = 1/N\sum_{i=1}^{N}L(y_i,f(x_i)) + \lambda J(f)\)，其中\(J(f)\)表示模型的复杂度，模型f越复杂，\(J(f)\)值越大，模型f越简单，\(J(f)\)值越小

　　结构风险最小化模型策略认为结构风险最小的模型是最优模型：\(min 1/N\sum_{i=1}^{N}L(y_i,f(x_i)) + \lambda J(f)\)。

　所以监督学习问题就变成了经验风险或者结构风险的最优化问题。