一、基础介绍
1. 逻辑回归(Logistic Regression, LR)，是一种二分类算法。
2. Logisitic函数，定义域负无穷到正无穷，值域(0,1)
3. 定义
输入
其中θ是权重，输出
利用Logisitic函数将自变量映射到(0,1)区间上，再利用一个激活函数分类为0或1，如>0.5归为1,<0.5归为0
二、LR介绍
1. 定义y取值概率如下
2. 合并公式（1.3）（1.4）得
5. 为求取θ的值，利用最大似然估计，即使得y发生的概率最大，此时的θ便是最优的回归系数。整个数据集的似然函数表示为：
计算方便，取似然函数的对数
最大似然估计：https://blog.csdn.net/zengxiantao1994/article/details/72787849
6. 问题变为求使得式(1.7)最大的θ值
二、梯度上升法
1. 怎么求式(1.7)最大的θ值？
假设一维函数的话，求最大值可以直接求导数，令导数为0即为最大值
2. 多维函数，考虑梯度上升法：https://www.cnblogs.com/pinard/p/5970503.html
利用梯度下降法迭代
求得
3. 当值每次迭代后差距小于一定值或迭代次数大于样本数时停止
附：
