逻辑回归与线性回归求解过程：
总体来说，回归过程都分三步：
1、Model
2、Loss Fuction
3、Gradient Decent
分析：
1、Model：线性回归中，模型为线性方程，取值范围无穷大；逻辑回归中，通过sigmod函数函数将线性方程z转化成概率（见上一篇博客）。
2、Loss Function：线性回归损失函数由均方差来衡量；逻辑回归由交叉熵衡量。
逻辑回归的Loss Function由Training Data来决定，模型需确保Training Data分类正确率最大，假设Training Data为
，则概率表示为
求上述概率公式最大化即可得到模型参数。这里做一个转化，将函数稍作变化，转化为对数形式且取负号：
，变成求最小值。
则Loss function表示为（其中将样本分类用1和0表示，y表示每个样本的实际分类情况）：
扫描二维码关注公众号，回复：
4430714 查看本文章
，
由上式看出，Loss Function表示为实际分类与预测分类结果的交叉熵
，其中p表示实际样本的二值分布，q表示预测概率的二值分布。
交叉熵最小时，表示二者的概率分布约接近。
3、Gradient Decent：在求梯度下降时，两种情况对Loss Function求导得到的梯度下降表达式一致。