OLS普通最小二乘法，能不能换一个清楚的名字？用调和平均数行不行？用中位数行不行？用几何平均数行不行？就是到直线的距离总和最小，这就是评判标准。这就是最小二乘平方公式的来历。为什么算术平均数是最小呢？调和平均为什么不是最小呢？因为算数平均是跟正态等价的，你相信最大似然吗？最大似然是什么？就是天选之子，所有概率乘起来求最大即可。最终归结到中心极限定理。就是如此。中心极限定理的证明必定是对的，复杂的，知道这个就行了，因此OLS可以起一个小名叫最小算数平均法，最大似然法就是最大概率出现法。
就把回归看成最小二乘法就好了。
岭回归实在太熟悉了，岭回归就是在后面添加了一点东西，防止过拟合的。修改了一下损失函数，使得参数尽可能得集中，那么参数就会变少，参数越少就会越重要，这就防止了过多的无用的参数，这就防止了模型的失效。
Lasso回归就这么不抗打吗？就这？Lasso回归能够使得损失函数中的许多θ均变成0，这点要优于岭回归，因为岭回归是要所有的θ均存在的，这样计算量Lasso回归将远远小于岭回归。Lasso回归最终会趋于一条直线，原因就在于好多θ值已经均为0，而岭回归却有一定平滑度，因为所有的θ值均存在。