CS229机器学习个人笔记（3）——Logistic Regression+Regularization

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/zpalyq110/article/details/78012858

1.Classification

Logistic Regression其实就是Classification，但是由于历史原因名字被记作了逻辑回归。它与线性回归的区别在于$h_\theta(x)$被限制在了0与1之间，这是通过下面的S函数（Sigmoid function）实现的：$g(z)=\frac{1}{1+e^{-z}}$
其中：$z=\theta^Tx$
此时我们的假设函数$h_\theta(x)=g(\theta^tx)=\frac{1}{1+e^{-\theta^Tx}}$

2.Cost Function

线性回归中的损失函数是：

$J(\theta_0,\theta_1\dots\theta_n) =\frac{1}{2m}\displaystyle\sum_{i=1}^{m}\left(h_\theta(x^{(i)})-y^{(i)})\right)^2$

其中：$h_\theta(x) = \theta_0+x_1\theta_1+x_2\theta_2+\dots+x_n\theta_n$
线性回归损失函数有很明显的实际意义，就是平方损失。而逻辑回归却不是，它的预测函数$h_\theta(x)$明显是非线性的，如果类比的使用线性回归的损失函数于逻辑回归，那$J(θ)$很有可能就是非凸函数，即存在很多局部最优解，但不一定是全局最优解。我们希望构造一个凸函数，也就是一个碗型函数做为逻辑回归的损失函数。



注： 虽然得到的梯度下降算法表面上看上去与线性回归的梯度下降算法一样， 但是这里的 $h_θ(x)=g(θ^TX)$与线性回归中不同， 所以实际上是不一样的。 另外， 在运行梯度下降算法之前，进行特征缩放依旧是非常必要的。

具体求导公式的推导：

3.Multiclass Classification-One-vs-all

4.Regularization

线性回归中的Overfitting与Underfitting：

逻辑回归中的Overfitting与Underfitting：

Overfitting：高偏差
Underfitting：高方差
下图很直观的展现出偏差与方差的区别：

怎么来解决过拟合的问题？简单来说造成过拟合是因为次数高的项存在，那么只要减小相应的系数$\theta$就能避免过拟合。

对于线性回归：

对于逻辑回归：