线性回归linear regression

1. 损失函数：均方误差

2. 使用梯度下降法求解 $\theta$

3. 正规方程法 $\theta = (X^TX)^{-1}X^TY$，没有正则化项

4. 如何解决非线性的问题
   方法1：推广到多项式回归
   方法2：核函数，前提是ridge回归，即加了 $L_2$正则化
   表示定理：凡是进行 $L_2$正则化的线性问题都可以使用核函数的技巧。但是！！！通常不采用这个方法，因为每个样本点都必须参与核计算，这带来的计算复杂度是相当高的。！！！！！并不像SVM一样具有稀疏解！！！
   方法3：局部加权线性回归

5. 通过极大化对数似然可以推导出最小二乘
   独立同分布假设， $\varepsilon_i$服从均值为0，方差为 $\sigma^2$的高斯分布。

6. 特征需要进行归一化，原因1：使得不同特征处于相同的量级范围，不至于出现部分特征主导输出结果的情况。原因2：此外，归一化会带来附加效果：进行梯度下降的时候，加速收敛，量级缩放到同一尺度使得搜索的跳跃更加平滑，避免反复震荡的情况

扩展：如果机器学习模型使用梯度下降法求最优解时，归一化往往非常有必要，否则很难收敛甚至不能收敛

[1] 表示定理的证明
https://blog.csdn.net/qq_34993631/article/details/79345889
[2] 局部加权线性回归
https://www.cnblogs.com/czdbest/p/5767138.html 这篇文章里面有个地方有误，应该是：波长 $\tau$越大，远距离样本权值下降越慢

https://blog.csdn.net/wyl1813240346/article/details/78562654
[3] 特征归一化
https://www.zhihu.com/question/274640730/answer/376781767