凸函数无约束优化

在无约束优化中，设 $f(x)$是凸函数。可以通过 $\partial f(x)=0$求解，如果不能直接得到解析解，可以通过构造一个序列， $x_0,x_1,...,x_k$，使得 $f(x_0)>f(x_1)>...>f(x_k)$，给定一个阈值 $\eta$，当 $\bigtriangledown f(x)<\eta$停止。

$x:=x+t \Delta x$
( $f$是凸函数，满足 $f(y) \ge f(x)+\bigtriangledown f(x)^T \Delta x$)

于是就有了

一般下降方法General Descent Method：
给定一个初始值x，
重复以下步骤：

1. 确定下降方向 $\Delta x$
2. 确定步长 $t$（1.Exact line search, 2.Backtracking line search）
3. 更新 $x$， $x=x+t \Delta x$
   直到满足停止条件

梯度下降法，就是 $\Delta x=- \bigtriangledown f(x)$，停止准则是 $||\bigtriangledown f(x)||_2 \le \eta$

下面介绍最陡下降法Steepest descent method
$f(x)$的一阶展开式为 $f(x+v) \approx f(x)+\bigtriangledown f(x)^T v$，选择一个方向 $v$使 $f(x+v)$最小，这个方向就是最陡下降法的方向。 $v$大小要有一个限制，才有意义。
$\Delta x_{nsd}=argmin\{\bigtriangledown f(x)^T v | ||v|| \le 1\}$
$\Delta x_{sd}=||\bigtriangledown{f(x)}||_*\Delta x_{nsd}$，这是最陡下降法的方向
根据范数的不同有几个不同的方向。
欧几里得范数Euclidean norm
方向就是 $\Delta x_{sd}=-\bigtriangledown f(x)$
二次范数quadratic norm
方向就是 $\Delta x_{sd}=-P^{-1}\bigtriangledown f(x)$，下面的图是具体怎么求这个方向的过程。
l-1范数
$\Delta x_{sd}=-\frac{\partial f(x)}{\partial x_i} e_i$，方向是求偏导数的那个方向。

牛顿方法就是二次范数中 $P=\bigtriangledown^2f(x)$，Hessian矩阵。当然也可以用泰勒二阶展开式近似，然后求倒求展开式的最小值，也可得到相同的结果。停止准则为 $||\bigtriangledown f(x)||_{\bigtriangledown^2f(x)}\le \eta$

latex公式大全