最优化学习笔记（十四）——共轭梯度法

    共轭梯度法不需要预先给定$\boldsymbol{Q}$共轭方向，而是随着迭代的进行不断产生$\boldsymbol{Q}$共轭方向。在每次的迭代中，利用上一个搜索方向和目标函数在当前迭代点的梯度向量 之间的线性组合构造一个新的方向，使其与前边已经产生的搜索方向组成$\boldsymbol{Q}$共轭方向。对于一个$n$维二次型函数，沿着$\boldsymbol{Q}$共轭方向进行搜索，经过$n$次迭代，即可得到极小点。
    考虑二次型函数：

$$f(\boldsymbol{x}) = \frac{1}{2}\boldsymbol{x}^T\boldsymbol{Qx}-\boldsymbol{x}^T\boldsymbol{b}, \boldsymbol{x} \in \mathbb{R}^n$$
其中， $\boldsymbol{Q} = \boldsymbol{Q}^T > 0$。初始点 $\boldsymbol{x}^{(0)}$，搜索方向采用最速下降法的方向，即函数 $f$在 $\boldsymbol{x}^{(0)}$处梯度的负方向，即：
$$\boldsymbol{d}^{(0)} = - \boldsymbol{g}^{(0)}$$
产生下一个迭代点：
$$\boldsymbol{x}^{(1)} = \boldsymbol{x}^{(0)} + \alpha_0\boldsymbol{d}^{(0)}$$
其中，步长为：
$$\alpha_0 = \arg \min_{\alpha \ge 0} f(\boldsymbol{x}^{(0)} + \alpha_0 \boldsymbol{d}^{(0)}) = -\frac{\boldsymbol{g}^{(0)T}\boldsymbol{d}^{(0)}}{\boldsymbol{d}^{(0)T}\boldsymbol{Q}\boldsymbol{d}^{(0)}}$$
再展开下一次迭代，搜索方向 $\boldsymbol{d}^{(0)}$和 $\boldsymbol{d}^{(1)}$应该是关于 $\boldsymbol{Q}$共轭的。推广开来，在 $k+1$词迭代中：
$$\boldsymbol{d}^{(k+1)} = - \boldsymbol{g}^{(k+1)} + \beta_k\boldsymbol{d}^{(k)} ,\quad k =0,1,2\dots$$
按照如下方式选择 $\beta_k$, 可以使得 $\boldsymbol{d}^{(k+1)}$和 $\boldsymbol{d}^{(0)},\boldsymbol{d}^{(1)}, \dots,\boldsymbol{d}^{(k)}$组成 $\boldsymbol{Q}$共轭方向：
$$\beta_k = \frac{\boldsymbol{g}^{(k+1)T}\boldsymbol{Q}\boldsymbol{d}^{(k)}}{\boldsymbol{d}^{(k)T}\boldsymbol{Q}\boldsymbol{d}^{(k)}}$$

共轭梯度法的算法步骤可以归纳如下：

1. 令 $k=0$,选择初始值：$\boldsymbol{x}^{(0)}$
2. 计算$\boldsymbol{g}^{(0)} = \nabla f(\boldsymbol{x}^{(0)})$,如果$\boldsymbol{g}^{(0)}=\boldsymbol{0}$，停止。否则：$\boldsymbol{d}^{(0)}= - \boldsymbol{g}^{(0)}$.
3. 计算$\alpha_k = -\frac{\boldsymbol{g}^{(k)T}\boldsymbol{d}^{(k)}}{\boldsymbol{d}^{(k)T}\boldsymbol{Q}\boldsymbol{d}^{(k)}}$
4. 计算 $\boldsymbol{x}^{(k+1)} = \boldsymbol{x}^{(k)} + \alpha_k\boldsymbol{d}^{(k)}$
5. 计算$\boldsymbol{g}^{(k+1)} = \nabla f(\boldsymbol{x}^{(k+1)})$,如果$\boldsymbol{g}^{(k+1)}=\boldsymbol{0}$，停止。
6. 计算$\beta_k = \frac{\boldsymbol{g}^{(k+1)T}\boldsymbol{Q}\boldsymbol{d}^{(k)}}{\boldsymbol{d}^{(k)T}\boldsymbol{Q}\boldsymbol{d}^{(k)}}$
7. 计算$\boldsymbol{d}^{(k+1)} = - \boldsymbol{g}^{(k+1)} + \beta_k\boldsymbol{d}^{(k)}$
8. 令$k=k+1$，回到第$3$步。