TASK2 回归问题
作业：
1、请详细描述线性回归模型的最小二乘法表达。
回答：
一元线性回归的基本假设：
1）对模型和变量的假定：
假设解释变量X是非随机的。
假设变量和模型无设定误差。
2）对随机误差项的假定：
零均值假定
同方差假定
无自相关假设
随机误差和解释变量X不相关
随机误差项分布的正态性假设
普通最小二乘法ordinary least squares，OLS。
OLS回归线的性质：
1）回归线通过样本均值
2）回归线中数据点y的均值 等于 实际观测y的均值
3）残差的均值为零
4）y估计值与残差项不相关
5）解释变量X与残差不相关
2、在线性回归模型中，极大似然估计与最小二乘估计有什么联系与区别？
对于最小二乘估计，最合理的参数估计量应该使得模型能最好地拟合样本数据，也就是估计值和观测值之差的平方和最小。
对于最大似然法，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大，也就是概率分布函数或者说是似然函数最大。显然，这是从不同原理出发的两种参数估计方法。因此最大似然法需要已知这个概率分布函数。
3、为什么多项式回归在实际问题中的表现经常不是很好？
多项式回归模型次数越高，曲线就越光滑，在边界处的置信区间增大，预测效果的稳定性降低。