第一部分 Logistic Regression 损失函数理解
先了解什么是logistics 回归：
hθ(x)为激活值或者预测值。g(z)就是sigmoid函数。sigmoid函数yiby一般用于二分类时作为最后输出层的激活函数
似然损失函数cost function：
解释下对数似然损失函数原理：是如何起损失函数作用的：
当y=1时，假定这个样本为正类。如果此时预测值hθ(x)=1,则单对这个样本而言的其损失就为0,表示这个样本的预测完全准确。那如果所有样本都预测准确，总的损失=0
但是如果此时预测值hθ(x)=0，那么cost→∞。这样的话，由于此时样本为一个正样本，但是预测的结果P(y=1|x;θ)=0, 也就是说预测 y=1的概率为0，那么此时就要对损失函数加一个很大的惩罚项。
同理当y=0时，也是一样的推导，在这不再赘述。
用极大似然法将以上两个表达式合并为一个，则总样本的损失函数可以描述为下式。
第二部分：常用损失函数
机器学习或者统计机器学习常见的损失函数如下：
1.平方损失函数（quadratic loss function)
2.绝对值损失函数(absolute loss function)
3.0-1损失函数 （0-1 loss function）
4.对数损失函数（logarithmic loss function) 或对数似然损失函数(log-likehood loss function)
逻辑回归中，采用的则是对数损失函数。如果损失函数越小，表示模型越好。