model优化方法及偏差与方差

目标： $arg min_{x} f(x)$,其中， $g(x)=\nabla f(x), H(x)=\nabla \nabla f(x)$

1.梯度下降（Gradient Descent）:
$x^{k+1} \leftarrow x^{k}-a.g(x^{k})$
随机梯度下降（Stochastic Gradient Descent）

2.牛顿法（Newton’s Method）
$x^{k+1}=x^k-\alpha H^{-1}(x^{k}).g(x^k)$
拟牛顿法（Quasi-Newton Method）：对 $H(x)$做近似

• BFGS：对 $H(x)$做近似的一种比较好的方法，内存中需要放 $H(x)$
• L -BFGS (L for Limited Memory):对BFGS的改进，内存不放 $H(x)$,而是存放中间数据，需要 $H(x)$的时候利用中间数据还原 $H(x)$，大大减小对内存的需要
• OWLQN：对L1-Norm不可导的情况，引入虚梯度来解决。

3.coordinate Descent:
CDN
$x_i^{k+1}\leftarrow argmin_{y} f(x_1^{k+1},.......x_{i-1}^{k+1},y,x_{i+1}^{k}....,x_n^{k})$

4.偏差与方差
1）偏差（Bias）：几份不同的训练数据，训练处的权重的期望值与真实的权值差距。
2）方差（Variance）：几份不同的训练数据，训练出来的权重彼此之间的差异。