对上一篇线性回归基础知识的补充：
上一节：
https://blog.csdn.net/a18829292719/article/details/109449617
在上一篇线性回归基础中我们引出了两个比较重要的概念，损失函数和损失函数的优化方法–梯度下降法，梯度下降法比较核心，很多算法都会用到，另外还讲到正则化的方法，只要涉及到损失函数优化的都可以 加入正则化，比如很多深度学习模型。
实际使用中线性回归使用的不多，因为他偏简单，一般我们做回归问题时，可以先使用线性回归验证数据，因为我们有时候拿到的数据是很杂乱的。如果线性回归拟合的效果还不错，我们就可以使用更高阶的模型。
手写梯度下降见下面这个链接：
python手写梯度下降
为什么L1正则化不常用：
1.容易产生稀疏解
2.损失函数带了绝对值函数，是一个阶跃的函数，在阶跃点没有导数，在整个函数上无法直接求导进行优化，操作复杂度较高。