Machine Learning Week1

Model and Cost Function

Model Representation

• 监督学习
  给出了训练集的正确答案
  • 回归问题
    预测准确的输出值
  • 分类问题
    进行0/1的分类

Notation：
m = 训练样本个数
x's = 输入变量/特征
y's = 输出变量/目标变量
(x,y) = 一个训练样本（上标表示第i个）
h = 假设（hypothesis）
= 线性回归模型，其中的θi为模型参数

• 代价方程（如何选择模型参数）
  应该满足hθ(x)尽可能接近y，即解决(hθ(x) - y)^2的最小化问题，即1/2m的平方误差和最小。
  由此得到的代价函数
  

Parameter Learning

• 梯度下降算法
  
  其过程为
  
  α为学习速率，决定了更新模型参数的速率。α过低会导致梯度下降过慢，而过大则可能导致无法收敛甚至发散。
• 应用于线性回归问题