线性回归、岭回归、Lasso回归、逻辑回归的总结

对于所有的模型和算法，都有一个目标方程，比较理想的目标方程应该有两部分构成：损失函数和正则项，一个用来衡量模型的拟合效果，一个用来尽可能保证模型的简单和稳定：

$$\begin{equation} Obj(\Theta) = L(\Theta) + \Omega(\Theta) \end{equation}$$

损失函数：
平方损失函数(Square loss)：$l(y_{i},\hat y_{i})=(y_{i}-\hat y_{i})^{2}$
对数损失函数(Logistic loss)：$l(y_{i},\hat y_{i})=y_{i}\ln(1+e^{-\hat y_{i}})+(1-y_{i})\ln(1+e^{\hat y_{i}})$
Regularization：
L2 norm: $\Omega(\omega)=\lambda \|\omega\|^{2}$
L1 norm: $\Omega(\omega)=\lambda \|\omega\|_{1}$

岭回归和Lasso 回归是加了正则项的线性回归。

岭回归的目标函数：平方损失函数+L2正则

$$\begin{equation}\label{E1} Obj=\sum^{n}_{i=1}(y_{i}-\omega^{T} x_{i})^{2}+\lambda \|\omega\|^{2} \end{equation}$$
Lasso回归的目标函数：平方损失函数+L1正则
$$\begin{equation}\label{E2} Obj=\sum^{n}_{i=1}(y_{i}-\omega^{T} x_{i})^{2}+\lambda \|\omega\|_{1} \end{equation}$$
Logistic回归的目标函数：对数损失函数+L2正则
$$\begin{equation}\label{E3} Obj=\sum^{n}_{i=1}[y_{i}\ln(1+e^{-\omega^{T}x_{i}})+(1-y_{i})\ln(1+e^{\omega^{T}x_{i}})]+\lambda \|\omega\|^{2} \end{equation}$$

【逻辑回归：损失函数与梯度下降】
https://blog.csdn.net/jediael_lu/article/details/77852060

【线性回归的损失函数与逻辑回归的损失函数】
https://blog.csdn.net/wjlucc/article/details/71095206

【线性回归、岭回归、Lasso回归】
https://blog.csdn.net/hzw19920329/article/details/77200475

【正则化的线性回归 —— 岭回归与Lasso回归】
https://www.cnblogs.com/Belter/p/8536939.html