基本定义
二项逻辑斯蒂回归，简称逻辑回归，也被称为对数几率回归
是一种二分类模型
利用概率来研究类别与特征之间的关系，是一种非线性回归。
对数几率函数的引入
因为二分类任务的输出标记 y ∈ { 0 , 1 } y∈\{0,1\} y∈{ 0,1}，而线性回归的预测值 z = w T x + b z=w^Tx+b z=wTx+b 是实数值。
我们希望将实数值 z 转换为 0/1值，最理想的是单位跃阶函数：
又因为它并不连续，我们希望找到在一定程度上接近它的替代函数，并希望替代函数单调可微，于是引入了对数几率函数
y = 1 1 + e − z y= \frac{1} {1+e^{-z}} y=1+e−z1
若预测值 z 大于零就判为正类，小于零就判为负类，为临界值零则可任意判别：
对数几率函数的推导
设 y 为样本 x 为正类的概率，则 1 - y 为样本 x 为负类的概率
它们的比值 y 1 − y \frac{y}{1-y} 1−yy 称为几率，表示为正类的相对可能性
取对数，得到对数几率： l n y 1 − y ln\frac{y}{1-y} ln1−yy
令 z = l n y 1 − y z=ln\frac{y}{1-y} z=ln1−yy ，可得 y = 1 1 + e − z y = \frac{1}{1+e^{-z}} y=1+e−z1
对数几率函数的意义：将样本 x 预测为正类的概率
逻辑回归模型
将 z = w T x + b z = w^Tx+b z=wTx+b 代入对数几率函数，得到逻辑回归模型的形式：
h = 1 1 + e − ( w T x + b ) h=\frac{1}{1+e^{-(w^Tx+b)}} h=1+e−(wTx+b)1
模型参数的估计
代价函数：
J = − 1 n ∑ i = 1 n y i l n h ( x i ) + ( 1 − y i ) l n [ 1 − h ( x i ) ] J=-\frac{1}{n}∑_{i=1}^ny_iln~h(x_i)+(1-y_i)ln[1-h(x_i)] J=−n1i=1∑nyiln h(xi)+(1−yi)ln[1−h(xi)]
最小化代价函数求得参数 w 和 b 即可
求解方法：小批量梯度下降法