版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/guanyuqiu/article/details/84647347
对数几率回归不是回归函数而是分类函数。
广义线性模型
提出问题：需要找到一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来
线性回归预测值，应用于分类问题一般选用“单位阶跃函数”
但阶跃函数不连续，而对数几率函数正好可以替代阶跃函数，它单调可微，函数表达式为
把线性模型代入得到
(1)
根据对数形式进行更新变形为：
(2)
y视为样本x为正例的可能性，1-y则放映了做为反例的可能性。
利用对数几率回归进行分类的优点：
1.无需视线假设数据分布，避免了分布不准确所带来的问题；
2.不仅预测出类别，而且磕到近似概率预测；
3.任意阶磕到的凸函数，比较好优化；
下面推到怎样求模型中的w和b：
对于某一个分类任务，结果输出（0，1）
根据式子(1)中的y视为类后验概率估计
则式子(2)可以写成：
与
组合解出：
可以通过最大似然估计来计算w和b，给定数据集,对率回归模型最大化“对数似然”：
为了方便令则
可简化为
再令
根据最大似然估计代入对数似然模型中得到
上式是关于的高阶可导连续凸函数，根据凸优化理论，经典的数值优化算法如梯度下降法、牛顿法等求得最优解
算法思路：
