损失函数、代价函数与目标函数

参考：

• 机器学习者都应该知道的五种损失函数！
• 几种常见的损失函数

前言： 损失函数、代价函数与目标函数

损失函数（Loss Function）：是定义在单个样本上的，是指一个样本的误差。

代价函数（Cost Function）：是定义在整个训练集上的，是所有样本误差的平均，也就是所有损失函数值的平均。

目标函数（Object Function）：是指最终需要优化的函数，一般来说是经验风险+结构风险，也就是（代价函数+正则化项）。

一、损失函数

二、代价函数

三、目标函数