奇异矩阵及广义逆矩阵

再介绍奇异矩阵以及矩阵的广义逆之前，先复习几个概念，然后我一步步给出奇异矩阵和广义逆的介绍。

伴随矩阵

1. 余子式

定义1 余子式：在 $n$ 阶行列式 $|A|$ 中，划去元素 $a_{ij}$ 所在的行和列，剩下的元素（显然，剩下了 $(n - 1)^2$ 个元素），按照原先的排列生成的新行列式的值称为元素 $a_{ij}$ 的余子式，记为 $M_{ij}$ 。如下所示：

\begin{matrix} (9) & | A | = | \begin{array}{ccc} a_{11} & \dots & a_{1 j} & \dots & a_{1 n} \\ ⋮ & ⋮ & ⋮ \\ a_{i 1} & \dots & a_{i j} & \dots & a_{i n} \\ ⋮ & ⋮ & ⋮ \\ a_{n 1} & \dots & a_{n j} & \dots & a_{n n} \end{array} |, M_{i j} = | \begin{array}{ccc} a_{11} & \dots & a_{1 j - 1} & a_{1 j + 1} & \dots & a_{1 n} \\ ⋮ & ⋮ & ⋮ \\ a_{i - 1 1} & \dots & a_{i - 1 j - 1} & a_{i - 1 j + 1} & \dots & a_{i - 1 n} \\ a_{i - 1 1} & \dots & a_{i + 1 j - 1} & a_{i + 1 j + 1} & \dots & a_{i - 1 n} \\ ⋮ & ⋮ & ⋮ \\ a_{n 1} & \dots & a_{n j - 1} & a_{n j + 1} & \dots & a_{n n} \end{array} | \end{matrix}

$\begin{equation} |A| = \left| \begin{array}{ccc} a_{11} & \dots & a_{1j} & \dots & a_{1n}\\ \vdots & & \vdots & & \vdots\\ a_{i1} & \dots & a_{ij} & \dots & a_{in}\\ \vdots & & \vdots & & \vdots\\ a_{n1} & \dots & a_{nj} & \dots & a_{nn}\\ \end{array} \right|, M_{ij} = \left| \begin{array}{ccc} a_{11} & \dots & a_{1~j-1} & a_{1~j+1} & \dots & a_{1n}\\ \vdots & & \vdots & & \vdots\\ a_{i-1~1} & \dots & a_{i-1~j-1} & a_{i-1~j+1} & \dots & a_{i-1~n}\\ a_{i-1~1} & \dots & a_{i+1~j-1} & a_{i+1~j+1} & \dots & a_{i-1~n}\\ \vdots & & \vdots & & \vdots\\ a_{n1} & \dots & a_{n~j-1} & a_{n~j+1} & \dots & a_{nn}\\ \end{array} \right| \end{equation}$

2. 代数余子式

定义2 代数余子式：由上面余子式的定义，可以得到 $n$ 阶行列式 $|A|$ 中元素 $a_{ij}$ 的代数余子式 $A_{ij}$ 。其计算公式如下：

\begin{matrix} (10) & A_{i j} = (- 1)^{i + j} M_{i j} \end{matrix}

$\begin{equation} A_{ij} = (-1)^{i + j} M_{ij} \end{equation}$

代数余子式是一个很有用的概念，因为用它可以直接计算出行列式的值。我们有下面这样一个定理存在：

定理1：行列式等于它某一行的元素分别与它们对应的代数余子式的乘积之和。可以用如下公式表达：

\begin{matrix} (11) & | A | = \sum_{j = 1}^{n} a_{i j} \cdot A_{i j}, i \in {1, 2, \dots, n} \end{matrix}

$\begin{equation} |A| = \sum_{j = 1} ^ n a_{ij} \cdot A_{ij}, i \in \{1, 2, \dots, n\} \end{equation}$

定理1其实就是行列式计算方法的另一种表达。由这个定理，我们可以接着得到下面的定理2：

定理2：行列式中一行的元素与另一行相应元素的代数余子式的乘积之和为0。可以用如下公式表达：

\begin{matrix} (12) & a_{k 1} A_{i 1} + \dots + a_{k n} A_{i n} = 0 \end{matrix}

$\begin{equation} a_{k1}A_{i1} + \dots + a_{kn}A_{in} = 0 \end{equation}$

其中， $a_{ij} = a_{kj}, j = 1, 2, \dots, n; i \neq k$ .这个定理的证明思路可以用行列式性质：“一行的数乘加到另一行，行列式的值不变”。具体的证明我这里略过了。

3. 伴随矩阵

定义3 伴随矩阵：由矩阵 $A$ 中所有元素的代数余子式按照 $A$ 中原有的排列的转置之后，构造而成的矩阵称为 $A$ 的伴随矩阵。也就是下面公式中的 $A^{*}$ .

\begin{matrix} (13) & A^{*} = (\begin{array}{ccc} A_{11} & \dots & A_{n 1} \\ ⋮ & ⋱ & ⋮ \\ A_{1 n} & \dots & A_{n n} \end{array}) \end{matrix}

$\begin{equation} A^{*} = \left( \begin{array}{ccc} A_{11} & \dots & A_{n1}\\ \vdots & \ddots & \vdots\\ A_{1n} & \dots & A_{nn}\\ \end{array} \right) \end{equation}$

注意，伴随矩阵中，元素的排列恰好原矩阵的转置序列是一致的。这样，根据上面说的定理1和定理2，我们可以得到这样的结论： $AA^{*} = A^{*}A = dE$ .

解释一下，上面的公式中， $d$ 是 $A$ 的行列式的值， $E$ 是单位矩阵。

矩阵的逆

根据 $AA^{*} = A^{*}A = dE$ 的性质，不难得到矩阵的逆的计算方式如下：

\begin{matrix} (14) & A^{- 1} = \frac{1}{d} A^{*} \end{matrix}

$\begin{equation} A^{-1} = \frac{1}{d}A^{*} \end{equation}$

根据这个公式，也就可以直接得到矩阵可逆的充要条件，即下面的定理3：

定理3：矩阵可逆的充要条件是矩阵行列式的值不为0（ $|A| \neq 0$ ）

我们把这种行列式不为0的矩阵称为是“非退化”的，如果是方阵，那也称之为是“非奇异”的。与“非奇异”相对应的“奇异”矩阵则是数据挖掘，机器学习领域中非常重要的一个概念。下面将具体介绍。

奇异矩阵

定义3 奇异矩阵：奇异矩阵就是不满秩的方阵。

通过这个定义，就不难推出以下3点奇异矩阵的性质（记奇异矩阵为 $A$ ）：

既然 $A$ 不满秩，那么 $|A| = 0$ ；
根据上面说的定理3，如果 $|A| = 0$ ，那么 $A$ 一定是不可逆的。同理，非奇异矩阵则一定是可逆的；
根据我之前介绍的线性方程组解的情况（线性方程组解的分析：唯一解，无穷多解以及无解）可知，齐次线性方程组 $AX = 0$ 有无穷多的解，而线性方程组 $AX = b$ 有无穷多的解或者无解。同理对于非奇异矩阵 $A'$ ，齐次线性方程组 $A'X = 0$ 有且只有唯一零解，线性方程组 $A'X = b$ 有唯一解。

广义逆矩阵

定义与概念

广义逆矩阵在数理统计、系统理论、优化计算和控制论等多领域中有重要应用。它的概念与上面的奇异矩阵密切相关，被如下定义：

定义4 广义逆矩阵：若 $A$ 是奇异阵或长方阵，根据上面说的奇异矩阵的性质3可知，线性方程组 $AX = b$ 有无穷多的解或者无解。若有解，则解为 $x = Xb + (E-XA)y$ ，其中у是维数与A的列数相同的任意向量，X是满足 $AXA = A$ 的任意矩阵，那么我们称X为A的广义逆矩阵，用 $A^{g}, A^{-}, A^{1}$ 等符号表示。当 $A$ 为非奇异矩阵时， $A$ 的广义逆矩阵就是 $A$ 的逆。

定义5：满足以下3个性质的广义逆矩阵 $A^{-}$ 称为 $A$ 的M-P广义逆矩阵矩阵，记为 $A^+$ ：

AMA = A
MAM = M
AM与MA均为对称矩阵

实际上，若 $A$ 是非奇异矩阵， $A^{-1}$ 也满足上面这3个性质。也就是说，M-P逆就是通常逆矩阵的推广。

计算方法

广义逆矩阵的计算方法大致可分为三类：以满秩分解和奇异值分解为基础的直接法，迭代法和其他一些常用于低阶矩阵的非平凡方法。我只介绍基于满秩分解和奇异值分解的推导过程。

1. 满秩分解

对于 $m \times n$ 的矩阵 $A$ ，假设其秩为 $r$ ，则 $A$ 有满秩分解 $A = F_{m \times r} G_{r \times n}$ 存在。那么 $A$ 的M-P逆可以通过满秩分解计算。下面我给出推导过程：

\begin{matrix} (28) & \begin{aligned} A^{+} & = (F G)^{+} \\ = G^{+} F^{+} \\ = G^{T} (G G^{T})^{- 1} \cdot (F^{T} F)^{- 1} F^{T} \\ = G^{T} (F^{T} A G^{T})^{- 1} F^{T} \end{aligned} \end{matrix}

$\begin{equation} \begin{aligned} A^{+} & = (FG)^{+}\\ & = G^{+} F^{+}\\ & = G^T(GG^T)^{-1} \cdot (F^TF)^{-1}F^T\\ & = G^T(F^TAG^T)^{-1}F^T \end{aligned} \end{equation}$

通过上面的公式，可以算得关于 $A$ 的广义逆。

2. 奇异值分解

对于 $m \times n$ 的矩阵 $A$ ，其奇异值分解如下：

\begin{matrix} (20) & A = U Σ V^{T} \end{matrix}

$\begin{equation} A = U\Sigma V^T \end{equation}$

其中 $U$ 是 $m \times m$ 的正交阵， $V$ 是 $n \times n$ 的正交阵， $\Sigma$ 是 $m \times n$ 的对角阵。关于奇异值分解的详细介绍可以查阅我之前的博客（矩阵的分解：满秩分解和奇异值分解）。

根据奇异值分解，可以通过下面的计算得到广义逆：

\begin{matrix} (25) & \begin{aligned} A^{+} & = (U Σ V^{T})^{+} \\ = (Σ V^{T})^{+} \cdot U^{- 1} \\ = V (Σ)^{+} U^{T} \end{aligned} \end{matrix}

$\begin{equation} \begin{aligned} A^{+} & = (U\Sigma V^T)^{+}\\ & = (\Sigma V^T)^{+} \cdot U^{-1}\\ & = V(\Sigma)^{+}U^T \end{aligned} \end{equation}$

其中， $\Sigma$ 因为是对角阵，所以广义逆就是他所有元素的倒数。