重温基础数学--矩阵分解（二）

1. QR分解(QR decomposition)

1.1 定义

设$A\in C^{m\times r}_r$是一个列满秩矩阵，则，有如下分解

$$A=QR$$
其中， $Q\in U^{m\times r}_r$是一个次酉矩阵， $R$是一个 $r\times r$的上三角矩阵。且 当对角线上元素均为正时，分解唯一。
【注】：此定义为复数域含义下，实数域自然适用。
示意图：

1.2 计算QR分解的方法

1.2.1 Gram-Schmidt正交化

以一个例子说明过程：

$$A= \begin{bmatrix} -3 & 1 & -2\\ 1 & 1 & 1\\ 1 & -1 & 0\\ 1 & -1 & 1\\ \end{bmatrix}=[\alpha_1 \quad \alpha_2 \quad \alpha_3]$$
将Gram-Schmidt正交化应用到矩阵 $A$的每一列，

• 正交化
  $\gamma_1=\alpha_1$
  $\gamma_2=\alpha_2-\frac{<\alpha_2,\gamma_1>}{<\gamma_1,\gamma_1>}\gamma_1$
  $\gamma_3=\alpha_3- \frac{<\alpha_3,\gamma_1>}{<\gamma_1,\gamma_1>}\gamma_1 - \frac{<\alpha_3,\gamma_2>}{<\gamma_2,\gamma_2>}\gamma_2$

• 单位化
  $\gamma_1=\frac{\gamma_1}{\|\gamma_1\|},\gamma_2=\frac{\gamma_2}{\|\gamma_2\|},\gamma_3=\frac{\gamma_3}{\|\gamma_3\|}$

【注】：内积的含义：
矢量$\alpha$投影在矢量$\beta$的长度 与 矢量$\beta$的长度 的乘积。结果是个实数。
例如，$<\alpha,\alpha>=\|\alpha\|^2$
$\frac{<\alpha_2,\gamma_1>}{<\gamma_1,\gamma_1>}\gamma_1$就是$\alpha_2$在$\gamma_1$上的投影（构成的矢量）。

得到：
$\gamma_1=[-\frac{3}{\sqrt{12}} \quad \frac{1}{\sqrt{12}} \quad \frac{1}{\sqrt{12}} \quad \frac{1}{\sqrt{12}}]^T$
$\gamma_2=[0 \quad \frac{2}{\sqrt{6}} \quad -\frac{1}{\sqrt{6}} \quad -\frac{1}{\sqrt{6}}]^T$
$\gamma_3=[-\frac{1}{\sqrt{6}} \quad -\frac{1}{\sqrt{6}} \quad -\frac{2}{\sqrt{6}} \quad 0]^T$
组成次酉矩阵$U=[\gamma_1 \quad \gamma_2 \quad \gamma_3]$
那么，上三角矩阵$R$

$$R=U^*A=\begin{bmatrix} \sqrt{12} & -\sqrt{12}/3 & 2\sqrt{12}/3 \\ 0 & 2\sqrt{6}/3 & \sqrt{6}/6 \\ 0 & 0 & \sqrt{6}/6 \end{bmatrix}$$

1.2.2 Householder reflection

1.2.3 Givens rotation

1.3 QR分解的应用

1.3.1 求 不相容方程 某种含义下的最优解

不相容方程(incompatible equation)：
若$n$元一次线性方程组$Ax=b$有解，则称该方程组相容；若无解，则称其不相容。
有解的充要条件是：$rank(A|b)=rank(A)\leq n$

结合上面的例子，给出方程右侧的常数项 $b=[1 \quad 0 \quad 2 \quad 1]^T$
此时，验算有解的充要条件是不满足的。

也就是说，使4个方程同时成立的解是不存在的，即，使下式

$$Ax-b=\begin{bmatrix} 0 \\ 0 \\ 0 \\ 0 \end{bmatrix}$$ 的矢量 $x$（解）是不存在的。
但是，我们可以寻求 某种意义下的一个解，比方说，
找到这样一个 $x$，使得即使右端不全为零，但是它的个 元素的平方和最小。
物理意义：It minimizes the distance between the two vector $Ax$ and $b$.
数学语言：
$min\|e\|^2=min(Ax-b)^*(Ax-b)$
使上式成立的那个 $x$，记为 $x_{opt}$.

问题转化：
已知

$$A_{4\times 3}=Q_{4\times 3}R_{3\times 3}=[Q\quad Q_{\perp}]_{4\times 4}\begin{bmatrix}R\\0\end{bmatrix}_{4\times 3}$$ ，
其中， $Q是一个次酉矩阵，[Q\quad Q_{\perp}]$组成一个酉矩阵。

则，

$$Ax-b=[Q\quad Q_{\perp}]\begin{bmatrix}R\\0\end{bmatrix}x-b=[Q\quad Q_{\perp}]\{\begin{bmatrix}R\\0\end{bmatrix}x-[Q\quad Q_{\perp}]^*b\}$$
因此，
$$(Ax-b)^*(Ax-b)=(Rx-Q^*b)^*(Rx-Q^*b)+b^*Q_{\perp}Q_{\perp}^*b$$
那么，使上式最小的 $x$为
$$x_{opt}=R^{-1}Q^*b$$
两向量间的最小距离为
$$(Ax-b)^*(Ax-b)=b^*Q_{\perp}Q_{\perp}^*b$$

维基百科搬运：https://en.wikipedia.org/wiki/QR_decomposition#cite_note-Trefethen-1