矩阵代数部分

1. 特征值与特征向量

特征值与特征向量的定义： $Ax = \lambda x$ ，其中 $A_{n\times n},\quad x_{n\times 1}\neq \mathbf{0}$ 。在复数域上 $A_{n\times n}$ 一定对应 $n$ 个特征值，故有如下等式成立：

A w_{i} = λ_{i} w_{i}, i = 1, 2, \dots, n

$A w_{i}=\lambda_{i}w_{i},\quad i=1,2,\cdots,n$

于是可得

A [w_{1}, w_{2}, \dots, w_{n}] = [w_{1}, w_{2}, \dots, w_{n}] [\begin{matrix} λ_{1} \\ λ_{2} \\ \dots \\ λ_{n} \end{matrix}] ⟹ A W = W Σ ⟹ A = W Σ W^{- 1}

$A \left[ w_1,w_2,\cdots,w_{n}\right]=\left[ w_1,w_2,\cdots,w_{n}\right]\begin{bmatrix} \lambda_{1}&&&\\ &\lambda_{2}&&\\ &&\cdots&\\ &&&\lambda_{n}\\ \end{bmatrix} \\ \Longrightarrow \\ AW=W \Sigma \Longrightarrow A=W \Sigma W^{-1}$

其中， $W$ 的 $n$ 个特征向量为标准正交基，满足 $W^{T}W=I$ ，即正交矩阵或酉矩阵。注意到以上的特征分解，矩阵 $A$ 必须为方阵。如果不满足方阵条件，即 $A_{m\times n}$ ，此时对矩阵进行分解需要 SVD 了。

2. 奇异值分解

矩阵分解有很多方法，例如特征分解（Eigendecomposition）、LU分解（LU decomposition）、QR分解（QR decomposition）和极分解（Polar decomposition）等。奇异值分解（Singular Value Decomposition，SVD）是其中的一种矩阵分解方法：

A_{m \times n} = U_{m \times m} Σ_{m \times n} V_{n \times n}^{T}

$A_{m \times n} = U_{m \times m}\Sigma_{m \times n} V^T_{n \times n}$

其中， $U$ 和 $V$ 都是正交矩阵，在复数域内的话就是酉矩阵，即 $U^TU = I_{m \times m},\quad V^TV = I_{n \times n}$ ， $U$ 和 $V$ 的列分别叫做 $A$ 的左奇异向量和右奇异向量。 $\Sigma$ 就是一个非负实对角矩阵，主对角线上的每个元素都称为奇异值。其中我们发现 $AA^T=U\Sigma V^TV\Sigma U^T=U\Sigma^{2}U^T$ ，可知 $AA^T$ 的特征值矩阵等于 $A$ 的奇异值矩阵 $\Sigma$ 的平方，于是特征值 $\lambda$ 和奇异值 $\sigma$ 的关系即 $\sigma_i=\sqrt{\lambda_i}$ 。

求解 SVD 的步骤：

求 $AA^T$ 的特征值和特征向量，用单位化的特征向量构成 $U$
求 $A^TA$ 的特征值和特征向量，用单位化的特征向量构成 $V$
将 $AA^T$ 或者 $A^TA$ 的特征值求平方根，然后构成 $\Sigma$

例如

A = (\begin{matrix} 2 & 4 \\ 1 & 3 \\ 0 & 0 \\ 0 & 0 \end{matrix})

$A = \begin{pmatrix} 2 & 4 \\ 1 & 3 \\ 0 & 0 \\ 0 & 0 \\ \end{pmatrix}$

则有

A A^{T} = (\begin{matrix} 20 & 14 & 0 & 0 \\ 14 & 10 & 0 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \end{matrix}) A A^{T} x = λ x ⟹ (A A^{T} - λ I) x = 0

$AA^T = \begin{pmatrix} 20 & 14 & 0 & 0 \\ 14 & 10 & 0 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \\ \end{pmatrix} \\ AA^T x = \lambda x \Longrightarrow (AA^T - \lambda I)x = 0$

求得 4 个特征值，对应的单位化过的特征向量整理为左奇异矩阵：

λ_{1} \approx 29.8661 ， λ_{2} \approx 0.1339 ， λ_{3} = λ_{4} = 0 U = (\begin{matrix} 0.8174 & - 0.5760 & 0 & 0 \\ 0.5760 & 0.8174 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \end{matrix})

$\color{#F00}{\lambda_1 \approx 29.8661，\lambda_2 \approx 0.1339}，\lambda_3 = \lambda_4 = 0 \\ U=\begin{pmatrix} 0.8174 & -0.5760 & 0 & 0 \\ 0.5760 & 0.8174 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \\ \end{pmatrix}$

同样的过程求解 $A^TA$ 的特征值和特征向量，得到右奇异矩阵：

λ_{1} \approx 29.8661 ， λ_{2} \approx 0.1339 ， V = (\begin{matrix} 0.4046 & - 0.9145 \\ 0.9145 & 0.4046 \end{matrix})

$\color{#F00}{\lambda_1 \approx 29.8661，\lambda_2 \approx 0.1339}， \\ V=\begin{pmatrix} 0.4046 & -0.9145 \\ 0.9145 & 0.4046 \\ \end{pmatrix}$

矩阵 $\Sigma$ 根据上面说的为特征值的平方根构成的对角矩阵：

(\begin{matrix} 5.4650 & 0 \\ 0 & 0.3660 \\ 0 & 0 \\ 0 & 0 \end{matrix})

$\begin{pmatrix} 5.4650 & 0 \\ 0 & 0.3660 \\ 0 & 0 \\ 0 & 0 \\ \end{pmatrix}$

最后得到：

A_{4 \times 2} = U_{4 \times 4} Σ_{4 \times 2} V_{2 \times 2}^{T} (\begin{matrix} 2 & 4 \\ 1 & 3 \\ 0 & 0 \\ 0 & 0 \end{matrix}) = (\begin{matrix} 0.8174 & - 0.5760 & 0 & 0 \\ 0.5760 & 0.8174 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \end{matrix}) (\begin{matrix} 5.4650 & 0 \\ 0 & 0.36596619 \\ 0 & 0 \\ 0 & 0 \end{matrix}) {(\begin{matrix} 0.40455358 & - 0.9145143 \\ 0.9145143 & 0.40455358 \end{matrix})}^{T}

$A_{4 \times 2} = U_{4 \times 4}\Sigma_{4 \times 2} V^T_{2 \times 2}\\ \begin{pmatrix} 2 & 4 \\ 1 & 3 \\ 0 & 0 \\ 0 & 0 \\ \end{pmatrix} = \begin{pmatrix} 0.8174 & -0.5760 & 0 & 0 \\ 0.5760 & 0.8174 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \\ \end{pmatrix} \begin{pmatrix} 5.4650 & 0 \\ 0 & 0.36596619 \\ 0 & 0 \\ 0 & 0 \\ \end{pmatrix} \begin{pmatrix} 0.40455358 & -0.9145143 \\ 0.9145143 & 0.40455358 \\ \end{pmatrix} ^ {\color{#F00}{T}}$

对于奇异值，它跟我们特征分解中的特征值类似，在奇异值矩阵中也是按照从大到小排列，而且奇异值的减少特别的快，在很多情况下，前 10% 甚至 1% 的奇异值的和就占了全部的奇异值之和的 99% 以上的比例。

A_{m \times n} = U_{m \times m} Σ_{m \times n} V_{n \times n}^{T} \approx U_{m \times k} Σ_{k \times k} V_{k \times n}^{T}

$A_{m \times n} = U_{m \times m}\Sigma_{m \times n} V^T_{n \times n} \approx U_{m \times k}\Sigma_{k \times k} V^T_{k \times n}$

SVD 可以用于 PCA 降维，来做数据压缩和去噪。也可以用于推荐算法，也可以用于 NLP 中的算法，比如潜在语义索引（LSI）。

[U,S,V] = svd(A)

对于复矩阵 $A_{m\times n}$ ，称 $A^HA$ 的 $n$ 个特征根 $\lambda_i$ 的算术平方根 $\sigma_i = \sqrt{\lambda_i}$ 为 $A$ 的奇异值。若记

Σ_{r} = diag (σ_{1}, \dots, σ_{r})

$\Sigma_r = \text{diag}(\sigma_1,\cdots,\sigma_r)$

其中， $\sigma_1,\cdots,\sigma_r$ 是 $A$ 的非零的全部的奇异值。则称 $m\times n$ 维矩阵

Σ = [\begin{matrix} Σ_{r} & 0 \\ 0 & 0 \end{matrix}]

$\Sigma = \begin{bmatrix} \Sigma_r&0 \\ 0&0 \end{bmatrix}$

为矩阵 $A$ 的奇异值矩阵。奇异值分解：对于 $m\times n$ 维矩阵 $A$ ，则分别存在一个 $m\times m$ 维酉矩阵 $U$ 和一个 $n\times n$ 维酉矩阵 $V$ ，有

A = U Σ V^{H}

$A = U\Sigma V^H$

3. 广义特征值/特征向量

令 $A,B \in \mathbb{C}^{n\times n}$ ， $\nu \in \mathbb{C}^{n}$ ，若标量 $\lambda$ 和非零向量 $\nu$ 满足：

A ν = λ B ν, ν \neq 0.

$A \nu=\lambda B \nu,\quad \nu \neq 0.$

则称 $\lambda$ 是矩阵 $A$ 相对与矩阵 $B$ 的广义特征值， $\nu$ 是与 $\lambda$ 对应的广义特征向量。如果矩阵非满秩，那么 $\lambda$ 就有可能任意值包括零。当矩阵为单位阵时上式就成为普通的特征值问题，因此可看作是对普通特征值问题的推广。当且仅当 $\xi$ 是 $\{A,B\}$ 的广义特征值时， $A-\xi B$ 奇异，广义特征值是广义特征多项式 $\big\vert A-\xi B \big\vert=0$ 的根。

4. Toeplitz 矩阵

定义一个具有 $(2n-1)$ 个元素的 $n$ 阶矩阵

A = [\begin{matrix} a_{0} & a_{- 1} & a_{- 2} & \dots & a_{- n + 1} \\ a_{1} & a_{0} & a_{- 1} & \dots & a_{- n + 2} \\ a_{2} & a_{1} & a_{0} & \dots & a_{- n + 3} \\ ⋮ & ⋮ & ⋮ & ⋱ & ⋮ \\ a_{n - 1} & a_{n - 2} & a_{n - 3} & \dots & a_{0} \end{matrix}]

$A = \begin{bmatrix} a_0 & a_{-1}&a_{-2}&\cdots&a_{-n+1} \\ a_1 & a_0 & a_{-1}&\cdots&a_{-n+2} \\ a_2 & a_1 & a_{0}&\cdots&a_{-n+3} \\ \vdots & \vdots & \vdots&\ddots&\vdots \\ a_{n-1} & a_{n-2} & a_{n-3}&\cdots&a_{0} \end{bmatrix}$

为 Toeplitz 矩阵，简称 T 矩阵，简记为 $A = (a_{-j+i})_{i,j=0}^{n}$ 。其中 T 矩阵完全由第 1 行和第 1 列的 $(2n-1)$ 个元素确定。

可见矩阵中位于任意一条平行于主对角线的直线上的元素全都是相等的，且关于副对角线对称。矩阵是斜对称矩阵，一般不是对称矩阵。在数据信息处理过程中，有限元素法、概率统计以及滤波理论等领域常常遇到 T 矩阵。

5. Hankel 矩阵

定义以下的 $(n+1)$ 阶矩阵

H = [\begin{matrix} a_{0} & a_{1} & a_{2} & \dots & a_{n} \\ a_{1} & a_{2} & a_{3} & \dots & a_{n + 1} \\ a_{2} & a_{3} & a_{4} & \dots & a_{n + 2} \\ ⋮ & ⋮ & ⋮ & ⋱ & ⋮ \\ a_{n} & a_{n + 1} & a_{n + 2} & \dots & a_{2 n} \end{matrix}]

$H = \begin{bmatrix} a_0 & a_{1}&a_{2}&\cdots&a_{n} \\ a_1 & a_2 & a_{3}&\cdots&a_{n+1} \\ a_2 & a_3 & a_{4}&\cdots&a_{n+2} \\ \vdots & \vdots & \vdots&\ddots&\vdots \\ a_{n} & a_{n+1} & a_{n+2}&\cdots&a_{2n} \end{bmatrix}$

为 Hankel 矩阵或正交对称矩阵。可见 H 矩阵完全由其第 1 行和第 $n+1$ 列的 $(2n+1)$ 个元素确定。其中沿着所有垂直于主对角线的直线上有相同的元素。

6. Vandermonde 矩阵

定义具有以下形式的 $m \times n$ 阶矩阵

V (a_{1}, \dots, a_{n}) = [\begin{matrix} 1 & 1 & 1 & \dots & 1 \\ a_{1} & a_{2} & a_{3} & \dots & a_{n} \\ a_{1}^{2} & a_{2}^{2} & a_{3}^{2} & \dots & a_{n}^{2} \\ ⋮ & ⋮ & ⋮ & ⋱ & ⋮ \\ a_{1}^{m - 1} & a_{2}^{m - 1} & a_{3}^{m - 1} & \dots & a_{n}^{m - 1} \end{matrix}]

$V(a_1,\cdots,a_n) = \begin{bmatrix} 1 & 1&1&\cdots&1 \\ a_1 & a_2 & a_{3}&\cdots&a_{n} \\ a_1^2 & a_2^2 & a_{3}^2&\cdots&a_{n}^2 \\ \vdots & \vdots & \vdots&\ddots&\vdots \\ a_1^{m-1} & a_2^{m-1} & a_{3}^{m-1}&\cdots&a_{n}^{m-1} \\ \end{bmatrix}$

为 Vandermonde 矩阵或范德蒙矩阵。范德蒙矩阵的转置也称为范德蒙矩阵。其中沿着所有垂直于主对角线的直线上有相同的元素。范德蒙行列式如下

A = (\begin{array}{ccc} 1 & 1 & 1 \\ b & c & d \\ b^{2} & c^{2} & d^{2} \end{array}) ⟹ | A | = - (b - c) (b - d) (c - d) B = (\begin{array}{cccc} 1 & 1 & 1 & 1 \\ b & c & d & e \\ b^{2} & c^{2} & d^{2} & e^{2} \\ b^{3} & c^{3} & d^{3} & e^{3} \end{array}) ⟹ | B | = (b - c) (b - d) (b - e) (c - d) (c - e) (d - e)

$A=\left( \begin{array}{ccc} 1 & 1 & 1 \\ b & c & d \\ b^2 & c^2 & d^2 \\ \end{array} \right) \Longrightarrow \left| A\right| =-(b-c) (b-d) (c-d) \\ B=\left( \begin{array}{cccc} 1 & 1 & 1 & 1 \\ b & c & d & e \\ b^2 & c^2 & d^2 & e^2 \\ b^3 & c^3 & d^3 & e^3 \\ \end{array} \right) \Longrightarrow \left| B\right| =(b-c) (b-d) (b-e) (c-d) (c-e) (d-e)$

如果 V 矩阵满足 $a_i \neq a_j$ ，则 V 矩阵一定是非奇异的。

7. Kronecker 积

将 $p\times q$ 维矩阵 $A=[a_{i,j}]$ ，和 $m\times n$ 维矩阵 $B=[b_{l,k}]$ 的克罗内克积记作 $A\otimes B$ ，它是一个 $pm \times qn$ 矩阵，形式为

A \otimes B = [\begin{matrix} a_{11} B & a_{12} B & \dots & a_{1 q} B \\ a_{21} B & a_{22} B & \dots & a_{2 q} B \\ ⋮ & ⋮ & ⋱ & ⋮ \\ a_{p 1} B & a_{p 2} B & \dots & a_{p q} B \end{matrix}]

$A\otimes B = \begin{bmatrix} a_{11}B & a_{12}B & \cdots & a_{1q}B \\ a_{21}B & a_{22}B & \cdots & a_{2q}B \\ \vdots & \vdots & \ddots & \vdots \\ a_{p1}B & a_{p2}B & \cdots & a_{pq}B \end{bmatrix}$

8. Hadamard 积

将 $m\times n$ 维矩阵 $A=[a_{i,j}]$ ，和 $m\times n$ 维矩阵 $B=[b_{l,k}]$ 的哈达玛乘积记作 $A\odot B$ ，也称作 Schur 乘积。它仍然是一个 $m \times n$ 矩阵，形式为

A ⊙ B = [\begin{matrix} a_{11} b_{11} & a_{12} b_{12} & \dots & a_{1 n} b_{1 n} \\ a_{21} b_{21} & a_{22} b_{22} & \dots & a_{2 n} b_{2 n} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ a_{m 1} b_{m 1} & a_{m 2} b_{m 2} & \dots & a_{m n} b_{m n} \end{matrix}]

$A\odot B = \begin{bmatrix} a_{11}b_{11} & a_{12}b_{12} & \cdots & a_{1n}b_{1n} \\ a_{21}b_{21} & a_{22}b_{22} & \cdots & a_{2n}b_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1}b_{m1} & a_{m2}b_{m2} & \cdots & a_{mn}b_{mn} \end{bmatrix}$

9. M-P 广义逆

对于任意矩阵 $A \in \mathbb{C}_{m\times n}$ ，如果存在矩阵 $G \in \mathbb{C}_{m\times n}$ ，满足

\begin{aligned} A G A & = A \\ G A G & = G \\ (A G)^{H} & = A G \\ (G A)^{H} & = G A \end{aligned}

$\begin{align*} AGA &= A \\ GAG &= G \\ (AG)^H &= AG \\ (GA)^H &= GA \end{align*}$

则称 $G$ 为 $A$ 的 M-P 广义逆，记为 $A^\dagger$ 。同时满足上述四个方程的广义可逆矩阵具有唯一性。部分满足上述四个方程的矩阵不唯一，每一种广义逆矩阵都包含着一类矩阵。

若 $A \in \mathbb{C}_{n}^{m\times n}$ ，则 $A^{\dagger} = (A^HA)^{-1}A^H$ 。若 $A \in \mathbb{C}_{m}^{m\times n}$ ，则 $A^{\dagger} = A^H(A^HA)^{-1}$ 。

阵列信号基础：矩阵代数部分