逻辑回归/对数几率回归--西瓜书、统计学习总结

广义模型可以解决分类任务。只需找到一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来。

一般采用单位阶跃函数，但是这个函数不连续，所以找一个可以近似替代的函数，这个函数就是对数几率函数。

是一种sigmoid(s型)函数

y视作x为正例的可能性，1-y就是负例的可能性  

y/(1-y) 称为几率，反映了x作为正例的相对可能性   取对数就是对数几率

为什么就可以用最大似然法来估计w和b??如何估计的？  

统计学习方法中对数几率函数也就是逻辑斯蒂回归分布，在知道分布的情况下，参数估计可以用最大似然估计。

这就是目标函数了

 

西瓜书求得的对数似然函数是统计学习求得的负值，也就是求使得取最小值的beta.统计学习中则是是对数似然函数取最大值的w.

然后是牛顿下降法求最优解？？为啥不是求一次偏导，使其为零，得到呢？？因为这样没办法求啊啊~所以要不断迭代直至收敛，相当于找一种方法逼近。凸函数：形状为凹的，二次导为正的。

二项逻辑斯蒂回归可以推广到多项逻辑斯蒂回归（统计学习方法），但好像多分类问题一般会基于一些基本策略用二分类学习器解决。（西瓜书）