(吴恩达机器学习)线性回归代价函数推导

多元线性回归的代价函数推导

决策函数：

$h_{\theta}(x)=\theta_1x_1+\theta_2x_2+...+\theta_nx_n=\sum_{i=1}^{n}\theta_ix_i=\theta^Tx$

令有m个样本，对于每个样本：

$y^{(i)}=h_{\theta}(x^{(i)})+\epsilon^{(i)}$…………….(1)

$\epsilon^{(i)}$表示真实值与预测值之间的误差,我们通常认为$\epsilon^{(i)}$是独立并具有相同的分布，并且服从均值为0方差为$\theta^2$的高斯分布。

于是：

$p(\epsilon^{(i)})=\frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(\epsilon^{(i)})^2}{2\sigma^2})$……(2)

将(1)代入(2)可得：

$p(y^{(i)}|x^{(i)};\theta)=\frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(y^{(i)}-\theta^Tx^{(i)})^2}{2\sigma^2})$

故似然函数为：

$L(\theta)=\prod_{i=1}^{m}\frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(y^{(i)}-\theta^Tx^{(i)})^2}{2\sigma^2})$

为方便求导变为对数似然：

$lnL(\theta)=ln\sum_{i=1}^m\frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(y^{(i)}-\theta^Tx^{(i)})^2}{2\sigma^2})$

​ $=m.ln\frac{1}{\sqrt{2\pi}\sigma}-\frac{1}{\sigma^2}.\frac{1}{2}\sum_{i=1}^m(y^{(i)}-\theta^Tx^{(i)})^2$

此时我们需要求得参数$\hat\theta$ 使似然函数$L(\theta)$最大：

$J(\theta)=\frac{1}{2}\sum_{i=1}^m(y^{(i)}-\theta^Tx^{(i)})^2$（最小二乘法）

由化简后的式子可知，上式越小，似然函数越大

在吴恩达的课程中将代价函数写为：

$J(\theta)=\frac{1}{2m}\sum_{i=1}^m(y^{(i)}-\theta^Tx^{(i)})^2$

方便计算