目标函数、损失函数、代价函数 区别

区别

• 损失函数：计算的是一个样本的误差

• 代价函数：是整个训练集上所有样本误差的平均

• 目标函数：代价函数 + 正则化项

例子

上面三个图的函数依次为 f1(x) , f2(x) , f3(x) 。我们是想用这三个函数分别来拟合Price，Price的真实值记为 Y。
我们给定x，这三个函数都会输出一个f(X)，这个输出的f(X)与真实值Y可能是相同的，也可能是不同的，为了表示我们拟合的好坏，我们就用一个函数来度量拟合的程度。这个函数就称为损失函数(loss function)，或者叫代价函数(cost function)。

损失函数越小，就代表模型拟合的越好。那是不是我们的目标就只是让loss function越小越好呢？还不是。这个时候还有一个概念叫风险函数(risk function)。风险函数是损失函数的期望，这是由于我们输入输出的(X,Y)遵循一个联合分布，但是这个联合分布是未知的，所以无法计算。但是我们是有历史数据的，就是我们的训练集，f