Bias-Variance Tradeoff

目标函数包括两部分，损失函数（控制模型预测的精度）和正则项（保持模型的简单和稳定）：

$$\begin{equation} Obj(\Theta) = L(\Theta) + \Omega(\Theta) \end{equation}$$
Bias-Variance Tradeoff（偏差-方差权衡）也是为了时模型同时达到精准的预测以及更强的泛化能力。
偏差Bias：在集成学习和各种树模型中，有多个弱学习器集成一个强的学习器，每一次弱学习器的预测值 $\hat y_{i}$，跟真实值 $y_{i}$之间的差异叫做偏差，尽可能减小偏差能够得到一个学习能力强的学习器，因此偏差衡量的是模型的精度；
方差Variance：衡量的是每次预测值的离散程度，即模型的预测是否稳定。

[Understanding the Bias-Variance Tradeoff]
http://scott.fortmann-roe.com/docs/BiasVariance.html