回归

最小二乘法

1. 误差和残差

误差:即观测值与真实值的偏离;
残差:观测值与拟合值的偏离.

物理量在客观上有着确定的数值，即称之为真实值。由于测量理论，环境，或者测量者本身的局限性，导致测量值与真实值的偏离，这个偏离是误差。

误差本身可以分为两类：
1. 系统误差
由于实验理论方法的局限，仪器的不完善，实验者的习惯等引起的误差是系统误差。通过多次测量，并不能减少系统误差。一般情况下，其误差的绝对值符号保持不变，按确定的规律变化。
2. 随机误差
在相同的测量条件下，其误差的绝对值符号时正时负，也被称为偶然误差。随机误差的存在使得每次测量结果有时偏大，有时候偏小，但是一般其分布服从一定的统计规律。通过多次测量可以降低随机误差。

残差―与预测有关，残差大小可以衡量预测的准确性。残差越大表示预测越不准确。残差与数据本身的分布特性，回归方程的选择有关。

2. 最小二乘法

对于给定的近似服从线性分布的$m$个点，$x_i$和$y_i$，其中$i \in \{0, 1, \ldots, m-1\}$，我们需要根据这些点拟合出一条直线

$$\overline{y_i} = w * x_i + b$$
且使得拟合值 $\overline{y_i}$与zh