逻辑回归算法原理推导
Logistic Regression和Linear Regression的原理是相似，但是做的事情不同，Linear Regression解决的是一个具体确定值的问题，Logistic Regression解决的是分类的问题，而且是最经典的二分法，简单高效通俗易懂，原理非常简单。算法并不是越复杂越。分类问题的base model一般选择逻辑回归，其他算法和逻辑回归算法比较，差不多优先选择逻辑回归的算法，机器学习的算法选择：先逻辑回归，能简单还是用简单的，可以简单的描述为：
（1）找一个合适的预测函数（Andrew Ng的公开课中称为hypothesis），一般表示为h函数，该函数就是我们需要找的分类函数，它用来预测输入数据的判断结果。这个过程时非常关键的，需要对数据有一定的了解或分析，知道或者猜测预测函数的“大概”形式，比如是线性函数还是非线性函数。
Sigmoid函数输入范围是－∝~＋∝，输出值是0-1，作用就是将输入变成一个概率值，完成一个分类的任务。决策边界可以是非线性的，表达一个复杂的问题。二分类问题，y的取值只能是1或者0。g()函数就是sigmoid（）函数，这里相当于做了一个映射，将回归算法里面的预测值θT*X带入自变量完成一个分类的问题。
（2）构造一个Cost函数（损失函数），该函数表示预测的输出（h）与训练数据类别（y）之间的偏差，可以是二者之间的差（h-y）或者是其他的形式。综合考虑所有训练数据的“损失”，将Cost求和或者求平均，记为J(θ)函数，表示所有训练数据预测值与实际类别的偏差。可以从回归算法直接推导到逻辑回归算法中，通过Sigmoid函数映射过就可以。
（3）显然，J(θ)函数的值越小表示预测函数越准确（即h函数越准确），所以这一步需要做的是找到J(θ)函数的最小值。找函数的最小值有不同的方法，Logistic Regression实现时有的是梯度下降法（Gradient Descent）。
