版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/a493823882/article/details/81414648
一、分类问题和logistic函数的提出与其形式
针对二分问题，即y为离散且y∈{0,1}，线性回归的拟合效果很差。比如一组数据中如果加入了一个特征（横坐标）较大的数据，那么线性回归曲线会出现明显的斜率变化与偏移，拟合效果大打折扣。
于是便提出了logistic函数（又称sigmoid函数），其具体形式如下：
其大致图像如下：
logistic函数的函数取值范围为(0,1)，其意义为：当输入数据的特征值为z时，分为当前类（如：给定二分类A与B，即分为A/B类）的概率为g(z)。
以0.5为分界，若g(z)>0.5，则分为此类；否则，分为另一类。
二、logistic函数的性质
对g(z)求导可得以下性质：
三、参数θ的拟合
对于线性回归，最小二乘法则等价于最大似然准则（在高斯分布的假设下），在此不做过多叙述。那么如何估计logistic回归的参数呢？思路仍是通过最大似然准则求解。
根据给出的logistic函数，即：
由于y只取0和1，那么上式可写作如下函数形式：
那么此函数p就表示输入为x时，取值为y的概率。那么如果将训练样本x0输入，结果仍未监督数据y0的概率即为，那么m个样本均符合监督数据的概率，我们称其为似然函数，即为
对其取对数得到
那么我们的目标就是maximize:l(θ)
我们同样使用数值方法，即在此使用梯度递增法（gradient ascent），其原理与梯度下降法相同，第一步也是求出对l(θ)的偏导数，如下所示
由此，我们给出随机梯度递增法如下
至此问题解决