step1：
确定函数的形式
step2：
构建损失函数（评价函数）
step3：
训练得到最好的function
线性回归中的loss为convex，不会陷入local optimal
过拟合问题
模型能力过于复杂，相当于完全记住了每个训练样例，但是对于测试样例来说，得不到很好的结果
正则化 减弱过拟合
让function比较平滑
bias and variance
简单模型：variance小 受不同数据影响小
复杂模型：variance大 不同数据可能导致模型发生很大变化
简单模型：bias大 简单的模型fuction set space较小，不一定包含正确的f
复杂模型：bias小 复杂的模型space大，基本上都包含了正确的f
bias大 under-fitting 增加模型的复杂能力
variance大 over-fitting 做数据增强增加数据，正则化
