逻辑回归于线性回归的联系

对于逻辑回归来说，输出 $~ y \in\{0,1\}$
逻辑回归的sigmoid输出大小为预测1的概率。则有
$P(y=1|x,\theta)=h_\theta(x)$
$P(y=0|x,\theta)=1-h_\theta(x)$
根据似然估计可得,样本数为 $m$
$L(\theta)=\prod_{i=1}^{m}{h_\theta(x^{(i)})}^{y^{(i)}}(1-h_\theta(x^{(i)}))^{1-y^{(i)}}$
$J(\theta)=-Ln(L(\theta))$, 化简后可以当作交叉熵形式看。

对于线性回归，损失函数定义为均方差。

对两种回归的 $J(\theta)$求导后可以发现梯度大小是相同的，都是
$\frac{\partial J(\theta)}{\partial \theta}=X^T(h_\theta(x)-Y)$

是sigmoid函数作为桥梁导致了这种巧合。