机器学习（课程笔记4）求最大化似然函数参数的一种算法——牛顿方法（Newton's method）；

上一节我们学习了一种二分类算法logistic regression,其中涉及到求likelihood function$l(\theta)$的maxmizing。当时我们用的是梯度上升（grdient ascent)方法。现在介绍一种对logistic regression收敛更快的算法。使用Newton's method 对假设函数是有要求的，假设函数要满足一系列的条件。

　　一.假设  f　find$\theta\in\Re$ st.$f(\theta)=0$的$\theta$，

有$\theta^{(1)}=\theta^{(0)}-\Delta=\theta^{(0)}-\frac{f(\theta^{(0)})}{f'(\theta^{(0)})}$

推广为：$\theta^{(t+1)}=\theta^{(t)}-\frac{f(\theta^{(t)})}{f'(\theta^{(t)})}$$

同理，当 $l(\theta)$   want  $\theta$  st. $l'(\theta)=0$

有$\theta^{(t+1)}=\theta^{(t)}-\frac{f'(\theta^{(t)})}{f''(\theta^{(t)})}$

当$\theta$是一给向量时

有$\theta^{(t+1)}=\theta^{(t)}-H^{-1}\nabla_\theta{l(\theta)}$

H为n*n的Hessian矩阵，n为参数向量的个数。