回归（二）
Logistic 回归
虽然本小节的方法叫做Logistic回归，但是Logistic回归通常用于解决离散状态的分类问题。
Logistic/sigmoid函数
首先直接给出sigmoid函数的定义：
我们在线性回归中使用的使用的预测函数：，将其直接代入到sigmoid函数中，并将这个新的函数作为我们的预测函数：
sigmoid函数有一个很好的性质就是，它的就到时非常简单的：
Logistic回归的优化算法
在最简单的二分类问题中，我们可以将问题简化为y只能取两个值：0和1。并且将作为y取1的概率，因此我们可以假设：
因此可以计算所有样本的似然函数；
取对数似然函数：
对数似然函数对参数求偏导：
因此，根据极大似然估计，很容易就可以得到学习的算法：
其实logistic回归的学习和线性回归具有相同的形式。在预测的过程中，我们使用模型来计算的概率，如果超过0.5就预测，否则就预测。
Logistic回归的解释
一个事件发生的几率odds，是该事件发生的概率和该事件不发生的概率的比值。
我们之前直接把作为y取1的概率，我们来计算一下y取1的对数几率：
因此logistic回归就可以看成是一个广义的线性回归，可以解释为事件的几率。反过来我们可以推导出sigmoid函数，如果我们想要构造一个模型，是的的对数几率满足一个线性模型，即：
就得到了sigmoid函数的形式。以上推导，读者可以自行理解。
Logistic回归的损失函数
这里我们对y的取值做一些修改，即：，因此我们可以改写一下似然函数：
我们令，那么：