线性回归

误差分析

假设线性回归的预测值和真实值表示为：

$$y^i=\theta^Tx^i + \varepsilon^i$$
在线性回归中，假设误差 $\varepsilon^i$是独立同分布（误差有大有小，并且服从正太分布），并且服从均值为0，方差为 $\theta^2$的高斯分布,则有：
$$p(\varepsilon^i) = \frac{1}{\sqrt{2\pi\delta} } exp(-\frac{(\varepsilon^i)^2}{2\delta^2})$$
合并上面两个式子，则有

$$p(y^i|x^i;\theta) = \frac{1}{\sqrt{2\pi\delta} } exp(-\frac{(y^i-\theta^Tx^i)^2}{2\delta^2})$$

极大似然估计

似然函数：
根据样本对参数进行估计，用数据去推参数。线性回归中的似然函数可以表示为：

$$L(\theta) = \prod_{i=1}^{m}( p(y^i|x^i;\theta) =\prod_{i=1}^{m} \frac{1}{\sqrt{2\pi\delta} } exp(-\frac{(y^i-\theta^Tx^i)^2}{2\delta^2})$$
(乘法难做，转化成加法）
对数似然函数：
$$l(\theta) = \sum_{i=1}^{m} \log \frac{1}{\sqrt{2\pi\delta} } exp(-\frac{(y^i-\theta^Tx^i)^2}{2\delta^2})$$
$$=m \log( \frac{1}{\sqrt{2\pi\delta}}) - \frac{1}{2\delta^2 } \sum_{i=1}^{m} (y^i-\theta^Tx^i)^2$$
由上式子可以得到目标函数（求极小值）：
$$J(\theta) = \frac{1}{2}\sum_{i=1}^{m} (y^i-\theta^Tx^i)^2$$
这个式子就是 线性回归的最小二乘法。