斯坦福机器学习第一课——线性回归（Linear Regression）

本节总结斯坦福的监督学习第一课——线性回归，本文图和数据均来自Andrew Ng的课程讲义。

例子引入

让我们以房价的例子开始。下图给出两个输入：房子面积（x1）和卧室数量（x2）的数据，要求拟合关于输出：房价（hθ(x)）的线性方程。

因为前提就是线性方程，因此等式可以表示成如下：

• hθ(x) = θ0+θ1x1+θ2x2                       式（1）

建模

以上的过程可以用一个模型表示出来。

由训练集和算法得到预测函数h。那么预测房价就不是梦了，输入一个x，便和得到预测的y。

求解过程

那么式1该如何求解呢？我们的最终目的是使得预测值最接近实际值。给出以下等式，当误差函数J(θ)最小时，可以达到我们的目的。

求解J(θ)有两种方式。

一种是代数方法，首先将J(θ)表示成θ的函数

接着，，对θ求导，并不断迭代更新θ，直到收敛为止。其中α为步进长度。具体推导参考Andrew老师讲义，最后结果为：

                                                

另一种是利用矩阵求导。结果如下

这就是关于第一节机器学习内容的总结，欢迎大家批评指正。