共轭梯度算法 详细

共轭梯度算法

介绍

在数值线性代数中，共轭梯度算法是一种求解对称正定线性方程 组$Ax=b$的迭代方法。

事实上，求解$Ax=b$等价于求解$min\ \frac{1}{2}x^TAx+b^Tx$，于是解方程问题就转化为了求解二次规划问题(QP)。

共轭梯度算法是介于梯度下降与牛顿法之间的一个方法，是一个一阶方法。它克服了梯度下降法收敛慢的缺点，又避免了存储和计算牛顿法所需要的二阶导数信息。

在$n$维的优化问题中，共轭梯度法最多$n$次迭代就能找到最优解（是找到，不是接近），但是只针对二次规划问题。

共轭梯度算法的思想就是找到$n$个两两共轭的共轭方向，每次沿着一个方向优化得到该方向上的极小值，后面再沿着其它方向求解极小值的时候，不会影响前面已经得到的沿那些方向上的极小值，所以理论上对$n$个方向都求解出极小值就能得到$n$维问题的极小值。

算法推到过程

目标函数：

$$min\ \frac{1}{2}x^TAx+b^Tx$$
其中 $A$为对称正定矩阵。

如果已经有$n$个关于$A$共轭的基向量$p_0,p_1,\dots,p_{n-1}$，它们相互共轭（即$<p_i,p_j>=p_i^TAp_j=0,i\neq j$）且线性无关。因此有$\forall x\in R^n$，有$x=\sum_{i=0}^{n-1}a_ip_i$

目标函数可以改写为：

$$\begin{eqnarray*} &&\mathop{min}_{a_0,\dots,a_{n-1}} \frac{1}{2}(\sum_{i=0}^{n-1}a_ip_i)^TA(\sum_{j=0}^{n-1}a_jp_j)-b^T(\sum_{i=0}^{n-1}a_ip_i) \\ &=& \mathop{min}_{a_0,\dots,a_{n-1}}\frac{1}{2}\sum_{i=1}^{n-1}\sum_{j=1}^{n-1}a_ia_jp_i^TAp_j-\sum_{i=0}^{n-1}a_ib^Tp_i \\ &=& \mathop{min}_{a_0,\dots,a_{n-1}}\frac{1}{2}\sum_{i=0}^{n-1}(a_i^2p_i^TAp_i-a_ib^Tp_i) \end{eqnarray*}$$
由于上式中各个部分独立，于是等价于优化问题：
$$\mathop{min}_{a_i}\ \frac{1}{2}a_i^2p_i^TAp_i-a_ib^Tp_i \quad i=0,1,\dots,n-1$$
求解可得：
$$a_i=\frac{b^Tp_i}{p_i^TAp_i}$$
所以给定 $p_0,p_1,\dots,p_{n-1}$就可以计算优化问题的解 $x=\sum_{i=0}^{n-1}\frac{b^Tp_i}{p_i^TAp_i}p_i$，即为原线性方程组的解。

接下来的问题就是如何得到$p_0,p_1,\dots,p_{n-1}$，这可以通过Gram-Schmit算法从一组线性无关向量$r_0,r_1,\dots,r_{n-1}$得到。

于是需要解决下面两个问题：

1. 如何构造一组线性无关向量$r_0,r_1,\dots,r_{n-1}$
2. 如何由$r_0,r_1,\dots,r_{n-1}$计算$p_0,p_1,\dots,p_{n-1}$

如何构造一组线性无关向量$r_0,r_1,\dots,r_{n-1}$

做如下构造：

$$r_i=b-Ax_i \quad x_i=\sum_{k<i}a_kp_k \quad i=0,1,\dots,n-1$$
其中 $x_0=0$， $x_n=\sum_{k<n}a_kp_k$为优化问题的解

下证$r_0,r_1,\dots,r_{n-1}$线性无关：

不妨设$r_i\neq0,i=0,1,\dots,n-1$，否则若$r_i=b-Ax_i=0$，则$x_i$为优化问题解。用数学归纳法证明

1. $r_0\neq0$，所以$r_0$本身线性无关
2. 当$r_0,r_1,\dots,r_i$线性无关，注意到

$$r_{i+1}=b-Ax_{i+1}=b-A(x_i+a_ip_i)=r_i-a_iAp_i$$

于是有

$$r_{i+1}=r_i-a_iAp_i=r_{i-1}-a_{i-1}Ap_{i-1}-a_iAp_i=\cdots=r_0-\sum_{k=0}^{i}a_kAp_k$$
上式两边和 $p_k,k<i+1​$做内积有
$$p_k^Tr_{i+1}=p_k^Tr_0-ap_k^TAp_k=p_k^Tb-b^Tp_k=0$$
故可知 $r_{i+1}\perp span\{p_0,p_1,\dots,p_i\}$

由于$p_0,p_1,\dots,p_i$由$r_0,r_1,\dots,r_i$正交化通过Gram-Schmit算法构造，有

$$span\{p_0,p_1,\dots,p_i\} =span\{r_0,r_1,\dots,r_i\}$$
故有 $r_{i+1}\perp span\{r_0,r_1,\dots,r_i\}$

又由于$r_{i+1}\neq0$，所以$r_0,r_1,\dots,r_{i+1}$线性无关

由数学归纳法知$r_0,r_1,\dots,r_{n-1}$线性无关

如何由$r_0,r_1,\dots,r_{n-1}$计算$p_0,p_1,\dots,p_{n-1}$

取$p_0=r_0$，假设已知$p_0,p_1,\dots,p_{i-1}$，由Gram-Schmit过程知：

$$p_i=r_i-\sum_{k<i}\beta_kp_k$$
其中
$$\beta_k=\frac{<p_k,r_i>}{<p_k,p_k>}=\frac{p_k^TAr_i}{p_k^TAp_k}$$
既有
$$p_i=r_i-\sum_{k<i}\frac{p_k^TAr_i}{p_k^TAp_k}p_k \tag{1}$$

现在化简$\beta_k$，因为$\beta_k$的分子分母都要进行矩阵和向量乘法，需要很高计算量。

注意到：

$$r_{i+1}=b-Ax_{i+1}=b-A(x_i+a_ip_i)=r_i-a_iAp_i \tag{2}$$

$$\begin{eqnarray*} \end{eqnarray*}$$

以及$\forall k<i$

$$p_k^Tr_k=p_k^T(b-Ax_i)=p_k^Tb-p_k^TA(\sum_{j<i}a_jp_j)=p_k^Tb-a_kp_k^TAp_k=0 \tag{3}$$

$$p_k^TAr_i=(Ap_k)^Tr_i\mathop{=}^{(2)}=\frac{1}{a_k}(r_k-r_{k+1})^Tr_i \tag{4}$$

$$r_k^Tr_i\mathop{=}^{(1)}(p_k+\sum_{j<k}\beta_jp_j)^Tr_i\mathop{=}^{(3)}0 \tag{5}$$

所以有

$$p_k^TAr_i=0 \quad \forall k<i-1\\ p_{i-1}^TAr_i=-\frac{1}{a_{i-1}}r_i^Tr_i$$

$$p_k^TAp_k=p_k^TA(r_k-\sum_{j<k}\beta_jp_j)=p_k^TAr_k\mathop{=}^{(4)}\frac{1}{a_k}(r_k-r_{k-1})^Tr_k\mathop{=}^{(5)}\frac{1}{a_k}r_k^Tr_k$$

所以

$$p_i=r_i+\frac{r_i^Tr_i}{r_{i-1}^Tr_{i-1}}p_{i-1}$$

$$a_i=\frac{b^Tp_i}{p_i^TAp_i}=\frac{(r_i+Ax_i)^Tp_i}{p_i^TAp_i}=\frac{r_i^Tp_i+(\sum_{k<i}a_kp_k)^TAp_i}{p_i^TAp_i}=\frac{r_i^T(r_i-\sum_{k<i}\beta_kp_k)}{p_i^TAp_i}\mathop{=}^{(3)}=\frac{r_i^Tr_i}{p_i^TAp_i}$$

算法

1. 初始条件：$x_0=0,r_0=b,p_0=r_0$
2. 迭代：$a=\frac{r_i^Tr_i}{p_i^TAp_i},x_{i+1}=x_i+a_ip_i,r_{i+1}=r_i-a_iAp_i,p_{i+1}=r_i+\frac{r_{i+1}^Tr_{i+1}}{r_i^Tr_i}p_i$