高级机器学习笔记
线性回归的损失函数我们采用的是均方误差函数。而逻辑回归采用的是交叉熵。
均方误差
对于线性函数来说，我们使用平方形式的时候，使用了“最小二乘”的思想，就是用平方来度量估计值与真实值的距离，使其达到最小。而且，如果假设误差服从正态分布，它与最大似然估计在本质上是相同的。
如下面两张图所示：
误差满足正太分布的话，那么我们可以让似然函数L(w)取最大的值，然后可以求出红框中的形式，也就是使均方误差函数取最小。
交叉熵
理论上来说，我们也可以在逻辑回归中沿用均方误差函数，但是把sigmod函数带入均方误差函数时，得到的函数是非凸函数，有许多局部最小值。所以定义新的损失函数。当然这也可以用最大似然方法来得到这样的形式。如下图所示。最后一行即为交叉熵损失函数的形式（取负号改成最小化该损失函数）。
当我们对交叉熵函数再利用梯度下降，更新参数时，得到了这样的结果（详细推导过程在Ng的学习笔记中有）。
得到了与之前线性函数一样的形式（同样注意交叉熵函数取负号），但是这里的f(x,W)是不一样的。
