深度学习总结四：逻辑回归总结

逻辑回归步骤
常见问题
参考

逻辑回归步骤

逻辑回归是一个分类算法。所以大致步骤如下：

sigmoid函数二分类
对线性函数 $y = wx + b$ 使用sigmoid函数包装为 $\sigma(y)$ ，输出 $[0,1]$ 的概率值。大于0.5为正样本，小于0.5为负样本。
优点：计算代价不高，易于理解和实现。
缺点：容易欠拟合，分类精度可能不高。
梯度下降求解
损失函数： $J(θ)=− \frac{1}{m}\sum_{i=1}^m[y^{(i)}\log (p^{(i)}) + (1 - y^{(i)})\log (1-p^{(i)})]$
不对最小二乘法使用梯度下降原因：最小二乘法为凸函数，若使用梯度下降求解得到的权重值是极小值而不是最小值。
极大似然估计
使用对数似然法原因：1、将乘法运算变为加法运算。2、防止出现浮点数下溢。

常见问题

共线性问题给逻辑回归或者线性回归带来的影响? 详细推导
共线性并不影响模型的训练精度。但是对于泛化精度，由于参数的估计已经不准确，所以泛化误差要差些
a. 模型缺乏稳定性。样本的微小扰动都可能带来参数很大的变化；
b. 参数的标准差偏大，相应的 t 统计量会偏小，这样容易淘汰一些不应淘汰的解释变量，使统计检验的结果失去可靠性。
c. 难以区分每个解释变量的单独影响

逻辑回归的优缺点
优点：
1.模型的可解释性强，可以通过参数值看到特征对结果的影响
2.既可以得到分类结果也可以得到类别的概率值
3. 方便调整输出结果，通过调整阈值的方式
缺点：
1.模型的准确性不高
2.数据不平衡时，对正负样本的区分能力差
3.模型对共线性问题比较敏感：变量共线性时，标准差比较大，模型不太稳定

逻辑回归中的假设
1.因变量服从伯努利分布。
2.假设样本为正的概率 p 为一个 Sigmoid 函数。

逻辑回归与线性回归的区别
1.线性回归因变量服从高斯分布，逻辑回归要求因变量服从伯努利分布。
2.线性回归要求因变量是连续性数值变量，而logistic回归要求因变量是分类型变量。
3.线性回归要求自变量和因变量呈线性关系，而logistic回归不要求自变量和因变量呈线性关系
4.logistic回归是分析因变量取某个值的概率与自变量的关系，而线性回归是直接分析因变量与自变量的关系
5.线性回归的损失函数是 square loss，逻辑回归的损失函数是 log-loss 查看不同损失函数定义

参考

逻辑回归