特征值的重要定理：Courant-Fischer min-max theorem 极大极小定理

前言

Courant-Fischer min-max theorem 是特征值极为重要的一个性质。 但是国内的各种教材资料包括博客上都很少提及。 我自己在科研中曾经用到过。 近期又碰到了另一个精彩的结论 韦尔定理（Wely theorem），有一个应用极大极小定理的简洁美妙的证明。 因此， 这篇博文写一下这个不容忽视的定理。

极大极小定理

首先，本定理针对的是Hermitian 矩阵， 即共轭对称矩阵。 因为只有共轭对称矩阵的特征值是确定为实数值的， 其他矩阵很可能是复数值， 而复数值，也就不存在大小关系了。

Courant-Fisher min-max 定理

对于 $n \times n$的矩阵 $\mathbf{A}$, 有：

• $\lambda_{k}=\min\limits _{\operatorname{dim}(U)=k}\;\;\; \max \limits_{x \in U,\|x\|=1} x^{H} \mathbf{A} x$
• $\lambda_{k}=\max\limits_{\operatorname{dim}(U)=n-k+1} \;\;\; \min \limits_{x \in U,\|x\|=1} x^{H} \mathbf{A} x$

其中， $\lambda_i$ 是 第 $k$ 小的特征值。

这个定理在两年前接触到的时候一头雾水， 数院的国奖哥以此帮我证明了一个式子的时候更是惊为天人。 核心原因是当时对子空间的概念的认知实在太过不足。 现在回头看虽然仍觉得非常困难，但还是稍微精进了一些。

这个证明， 我参考了维基百科上的证明， 以下是对百科上过程的翻译：

由于 $\mathbf{A}$是共轭对称矩阵， 所以根据共轭对称矩阵的特征分解的性质， 选定其特征向量 $\left\{u_{1}, \ldots, u_{n}\right\}$ 作为一组正交基。 子空间与基相关知识

即， 这就是 $n$维空间的 $n$ 个基。

现在， 若有该 $n$维空间的一个子空间 $U$， 其维度为 $k$, 和子空间 $\mathrm{span}(u_k, \ldots, u_n)$， 必定存在一个交集。 这一点其实可以这样证明： 首先 $U$的维度是 $k$, 而 $\mathrm{span}(u_k, \ldots, u_n)$的维度是 $n-k+1$。 也就是说， 两者的维度之和 大于 $n$。因此， 必定存在一个非零的交集。（这一点其实可以这样判断： 如果维度之和刚好是 $n$， 那可能两个子空间刚好由一组正交基的两部分扩展二成，是没有交集的。但和为 $n+1$，如果没有交集，就说明这个空间其实应该有 $n+1$个正交基， 这是违背的。没有想明白的读者， 可以根据3维空间来想像： 3维空间的两个二维子空间，必有交集。 而3维空间的1个二维子空间和1个一维子空间，是可以没有交集的。）

因此， 假设 $v$ 是交集上的一个元素， 即， 既属于子空间 $U$ 又属于 子空间 $\mathrm{span}(u_k, \ldots, u_n)$。 那么， $v\in\mathrm{span}(u_k, \ldots, u_n)$, 因此有：

$x=\sum_{i=k}^{n} \alpha_{i} u_{i}$
(由于 $||x||=1$, 有 $\sum_{i=k}^{n} \alpha_{i}=1$)
那么，

$x^H\mathbf{A}x=\sum_{i=k}^{n}\alpha_{i}^2u_i^H\mathbf{A}u_i=\sum_{i=k}^{n} \lambda_{i} \alpha_{i}^{2}\ge \lambda_i$

即:

$\ \max \limits_{x \in U,\|x\|=1} x^{H} \mathbf{A} x\ge \lambda_i$

对于所有子空间 $U$都成立。 即：

$\min\limits _{\operatorname{dim}(U)=k}\;\;\; \max \limits_{x \in U,\|x\|=1} x^{H} \mathbf{A} x\ge \lambda_i$

这时候，我们再证另一半：

显然， 空间 $V=\operatorname{span}\left\{u_{1}, \ldots, u_{k}\right\}$ 作为选择的 $k$维空间， 有：

$x^H\mathbf{A}x\le \lambda_i$

这个结论过于明显，不做解释了。
也就是说， $\ \max \limits_{x \in V,\|x\|=1} x^{H} \mathbf{A} x\le \lambda_i$,
而 $V$ 显然是 $k$维的子空间 $U$之一， 因此：

$\min\limits _{\operatorname{dim}(U)=k}\;\;\; \max \limits_{x \in U,\|x\|=1} x^{H} \mathbf{A} x\le \lambda_i$

所以有：

$\min\limits _{\operatorname{dim}(U)=k}\;\;\; \max \limits_{x \in U,\|x\|=1} x^{H} \mathbf{A} x= \lambda_i$

证毕。

经典应用： 韦尔定理 Wely theorem

对于两个 $n \times n$ 的共轭对称矩阵 $\mathbf{A}$ 和 $\mathbf{B}$， 有：

$\lambda_{i}(A)+\lambda_{1}(B) \leq \lambda_{i}(A+B) \leq \lambda_{i}(A)+\lambda_{n}(B)$。

显然，这是一个极为有用的定理。

先说下他的证明：

$\begin{aligned} \lambda_{i}(A+B)=& \max _{\operatorname{dim}(V)=i} \min _{\boldsymbol{x} \in V,\|\boldsymbol{x}\|=1} \boldsymbol{x}^{H}(A+B) \boldsymbol{x} \\ &=\max _{\operatorname{dim}(V)=i} \min _{\boldsymbol{x} \in V,\|\boldsymbol{x}\|=1}\left(\boldsymbol{x}^{H} A \boldsymbol{x}+\boldsymbol{x}^{H} B \boldsymbol{x}\right) \\ &\ge \max _{\operatorname{dim}(V)=i} \left(\min _{\boldsymbol{x} \in V,\|\boldsymbol{x}\|=1}\boldsymbol{x}^{H} A \boldsymbol{x}+\min _{\boldsymbol{x} \in V,\|\boldsymbol{x}\|=1}\boldsymbol{x}^{H} B \boldsymbol{x}\right) \\ & \geq \max _{\operatorname{dim}(V)=i} \min _{\boldsymbol{x} \in V,\|\boldsymbol{x}\|=1} \boldsymbol{x}^{H} A \boldsymbol{x}+\min _{\boldsymbol{x} \in V,\|\boldsymbol{x}\|=1} \boldsymbol{x}^{H} \boldsymbol{B} \boldsymbol{x} \\ &=\max _{\operatorname{dim}(V)=i} \min _{\boldsymbol{x} \in V,\|\boldsymbol{x}\|=1} \boldsymbol{x}^{H} A \boldsymbol{x}+\lambda_{\boldsymbol{1}}(B)=\lambda_{i}(A)+\lambda_{\boldsymbol{1}}(B) \end{aligned}$

非常简洁。

这个定理可以推出一些有用的结论：

• 可以确定两个共轭对称矩阵和 的 特征值的 范围。
• 一个共轭对称矩阵 加上一个正定共轭对称矩阵， 特征值必增大。