Machine Learing by Andrew Ng （1） --单变量线性回归，代价函数与梯度下降

Machine Learing by Andrew Ng (1) —Linear regression and gradient descent.

机器学习有下面几种定义： “机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。
“机器学习是对能通过经验自动改进的计算机算法的研究”。 “机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。”
一种经常引用的英文定义是：A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.

代价函数

一元线性回归方程（h（x））在样本集中的不同位置分布产生不同的训练代价，m代表样本集的规模。训练的目的是为了使代价函数最小化。

Theta_0 为0时J of theta_1 为二维平面函数，观察其value变化特征 。

带有两个参数的代价函数是立体的，我们的目的就是努力寻找最低点。
为了方便学习，将J在二维平面上用等值线来表示（类比与地理中的等高线），试着找出最小化代价的位置。
*

梯度下降函数

• 根据当前所在位置实时求导，判断出下降最快的方向，并同步更新theta_0和theta_1的值，直至函数收敛。
  Example1
  alpha表示学习率，alpha过大会导致不断越过最低点，甚至使函数值过于发散，alpha过小梯度下降速率也随之变小。alpha is always a positive number
  在局部最低点问题上，随着梯度的下降，梯度下降速率总会放缓。
  实际函数式