算法基础梳理——线性回归

【学习任务】

1. 线性回归损失函数的极大似然推导：西瓜书公式3.4除了用最小二乘法以外，怎么用极大似然推得？
2. 一元线性回归的参数求解公式推导：西瓜书公式3.7和3.8怎么推来的？
3. 多元线性回归的参数求解公式推导：西瓜书公式3.10和3.11怎么推来的？
4. 线性回归损失函数的最优化算法：什么是批量梯度下降、随机梯度下降、小批量梯度下降？

1.线性回归损失函数的极大似然推导

2.一元线性回归的参数求解公式推导

3.多元线性回归的参数求解公式推导

4.线性回归损失函数的最优化算法
批量梯度下降：批量梯度下降法，是梯度下降法最常用的形式，具体做法也就是在更新参数时使用所有的样本来进行更新。
随机梯度下降法：求梯度时没有用所有样本的数据，而是仅仅选取一个样本来求梯度。
小批量梯度下降法：每次都是采用一部分样本求梯度。