西瓜书+实战+吴恩达机器学习（六）监督学习之逻辑回归 Logistic Regression

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/zhq9695/article/details/87620707

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~

0. 前言

逻辑回归，根据数据对分类边界进行回归，以此分类。

$y=\sigma(w^Tx+b)=\frac{1}{1+\exp(-w^Tx+b)}$

逻辑回归不仅仅输出类别，而且得到了近似概率的预测。

sigmoid图像表示如下（图源：机器学习）：

1. 逻辑回归参数求解方法

使用极大对数似然定义代价函数：
$J=-\frac{1}{m}\sum_{i=1}^m(y^{(i)}\log\hat{y}^{(i)}+(1-y^{(i)})\log(1-\hat{y}^{(i)}))$
使用梯度下降对其更新：
$w_j=w_j-\alpha\frac{1}{m}\sum_{i=1}^m(\hat{y}^{(i)}-y^{(i)})x_j^{(i)}$

若样本集太大，则可采用随机梯度下降。

遇到过拟合问题，同样可以使用正则化。

---

如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~