bias：if we average all f', is it close to f^.
bias 衡量模型拟合训练数据的能力，其中训练数据可以是数据的部分（mini—batch）
bias越小，拟合能力就越高（可能产生over fitting）反之，拟合能力低（underfitting)
variance
扫描二维码关注公众号，回复：
9348283 查看本文章
衡量模型的泛化能力
variance越小，模型的泛化能力就越高，反之泛化能力就越低
****
训练误差大，测试误差小：说明矫正bias大
训练误差小，测试误差大，说明variance大--将vc维
训练误差大，测试误差大，说明模型没有训练好----升vc维
error
一般把学习器的实际预测输出与样本的真实输出之间的差异叫做error
经验误差：也叫训练误差，模型在训练集的误差
泛化误差：模型在新样本集（测试集）的误差
总结：比较简单的model，variance比较小，反之，variance比较大
注：简单的model受样本数据的影响比较小，例如：f(x)=常数，无论用什么数据，variance均为零
判断overfitting
error来源于variance很大，overfitting
error来源于bias很大，underfitting
解决办法：
解决bias比较大
重新设计model
1.在输入端加入更多的特征
2.增加模型的复杂性
解决variance大
1.更多的数据
2.regularization
