监督学习应用和梯度下降

主要内容：
线形回归
梯度下降
正规方程组

线形回归：
问题：预测房价

定义概念：
m: 训练数量
x: 输入变量，或特征
y: 输出变量，或目标变量
(x,y): 训练样本
(xi,yi): 第i个样本

通常做法：
训练集-〉学习算法-〉h预测函数

表示预测函数：
h(x)=a+a1*x
h(x)=ha(x)=a+a1*x1+a2*x2
...
define x0=1
h(x)=a0*x0+a1*x1+...+an*xn

什么样的预测函数才是最优解：使得下列函数值最小：
J(x) = ( ha(x1) - y1 )*( ha(x1) - y1 ) + ( ha(x2) - y2 )*( ha(x2) - y2 )
+...+( ha(xi) - yi )*( ha(xi) - yi )+...+
( ha(xm) - ym )*( ha(xm) - ym )

如何获得该函数：
梯度下降法：
形象的说，我们把所有值都取到，就会获得一个曲面，我们随机选一个点，然后开始向下走，直到走到最低点，我们也称收敛，这就是最优解。
算法的大致实现是，站在一个点，然后去求偏导数，即可获得最陡的方向，向下走一步，然后继续求偏导数。
我们把参数a当成一个向量(a0,a1,a2...ai...an)，将其初始化为(0,0,...0)，然后开始不断地改变这个向量，直到上面