逻辑回归讲解及推导
逻辑回归又称logistic回归，逻辑斯谛回归，是一种广义的线性回归分析模型。
1. Sigmod函数
Sigmoid函数也是神经网络中常用的函数，用于把x从负无穷到正无穷压缩到y从0到1之间。画出来就是一条S型曲线，如下图中的蓝色曲线：
它以0点为中心对称，公式如下：
当x值接近负无穷时，分母很大，S(x)接近0，当x接近正无穷时，分母接近1，S(x)接近1，当x为0时，S(x)为1/2在正中间。S曲线的弯曲程度由e决定。 它的导数是上图中的橙色曲线：
导数的意义是变化率，当x很大时或很小时，S’(x)接近0，而在x接近0时，S’(x)值最大，即S曲线在0点处变化剧烈，它勾勒出了y在0与1之间模棱两可的区域。
2.逻辑斯谛分布
必须满足逻辑斯谛分布，才能用逻辑回归。那么什么是逻辑斯谛分布？
逻辑斯谛分布即增长分布，增长分布的分布函数是“增长函数”，公式如下：
可以看到，它把(x-μ)/γ代入Sigmoid函数。其中μ是位置参数，也可解释为数学期望（大多数情况下是均值），散布中心，而γ是形状参数，它描述了散布程度（集中还是分散）。逻辑斯谛分布记为L(μ,γ)，当时μ=0，γ=1，称为标准的逻辑斯谛分布，就是Sigmoid函数。
我们形象地看一下μ和γ的功能：假设μ=3, γ=2，绘出的曲线如下：
相比，它的中心点在μ=3（横坐标3，纵坐标1/2），且曲线也比较平缓γ=2，γ值越小，中心附近变化越剧烈。 增长函数是sigmoid的扩展，它将以0为中心以1为单位的S曲线，扩展为以μ为中心，以γ为单位的S曲线。 换言之，只要分布符合S曲线，就能用逻辑回归。
3. 分布函数和密度函数
从概率的角度上讲，蓝色曲线它是分布函数，分布函数也叫累计分布函数（积分），它的函数值是概率P(X<=x)，x越靠右，概率X发生的概率越大。
常用的说明例子是：植物群体中发病的普遍率，横轴为时间，纵轴为发病率，一开始发病的植物少，增长缓慢，在中段出现爆发式增长，最终增长变慢，饱合达到100%。可以说分布函数中的Y是一个随时间积累得到的量（单调上升），即到时刻x为止，发病植物占所有植物的比例。而它的导数橙色线，即x时刻新发病的植物占整体的比例，即密度函数。
4. 模型参数的估计
具体应用时，我们知道实例有多个特征x(x1,x2,x3…)，求各个特征对应的权重w(w1,w2,w3…b)，使得各个实例都能正确分类，求取w一般使用梯度上升法或牛顿法，这里讲讲梯度上升法。
上图在梯度更新时不是很清晰，采用梯度上降法的公式为：
j：代表的特征的数目， m：代表样本的数目。
最后一个X(i),j代表的是第i个样本的第j个特征的取值。
5. 应用
需要注意的是w*x是线性函数，每个x与y之间，需要服从单调上升或者调下降的关系，如果不服从这种关系，就不能用逻辑回归。比如目标分类y是强壮与否，而特征x是年龄，我们知道并不是年龄越大越强壮（老年人），二者间并不存在同增同减的关系，年龄因素就没法直接使用逻辑回归，除非先对年龄做变换，例如abs(年龄-35)。
