瑞利商

瑞利商

---

瑞利商

---

瑞利商

首先给出瑞利商的定义
$R(A,x) = \frac{x^TAx}{x^Tx}$
$A$ 为一个 $n*n$的对称矩阵。

它经常在一些统计问题中出现，因此在此记录其性质

我们记 $A$ 的特征值以及对应的特征向量为 $\lambda_1,\lambda_2,...,\lambda_n;v_1,v_2,...,v_n$;且有
$\lambda_{min} = \lambda_1 \leq \lambda_2 \leq ... \leq\lambda_n = \lambda_{max}$

则瑞利商的性质为：

$\max_xR(A,x) = \lambda_n$ $\min_xR(A,x) = \lambda_1$

下面给出证明

由于 $A$ 为对称矩阵，所以存在一个正交矩阵 $U$ 使其特征值分解为 $M = U\Gamma U^T$
其中 $\Gamma = diag(\lambda_1,\lambda_2,...,\lambda_n)$ 为只由 $A$ 的特征值构成对角线值的矩阵。

如此，我们将初始形式转化为

$\begin{aligned} R(A,x) & = \frac{x^TU\Gamma U^Tx}{x^Tx} \\ & = \frac{(U^Tx)^T\Gamma(U^Tx)}{x^Tx} \end{aligned}$

令 $y = U^Tx$

我们有

$\begin{aligned} R(A,x) & = \frac{y^T\Gamma y}{x^Tx} \\ & = \frac{\sum^n_{i = 1}\lambda_i|y_i|^2}{\sum^n_{i=1}|x_i|^2} \end{aligned}$

由于 $\lambda_i$ 的大小排序，可以得到：

$\lambda_1\sum\limits_{i=1}^{n}|y_i|^2 \leq \sum\limits^n_{i = 1}\lambda_i|y_i|^2 \leq \lambda_n\sum\limits_{i=1}^{n}|y_i|^2$

于是：

$\frac{\lambda_1\sum\limits_{i=1}^{n}|y_i|^2}{\sum^n_{i=1}|x_i|^2} \leq R(A,x) \leq \frac{\lambda_n\sum\limits_{i=1}^{n}|y_i|^2}{\sum^n_{i=1}|x_i|^2}$

下面我们将证明

$\sum\limits_{i=1}^{n}|y_i|^2 = \sum^n_{i=1}|x_i|^2$

首先

$y_i = \sum\limits_{j=1}^{n}u_{ji}x_j$ $y_i^T = \sum\limits_{j=1}^{n}x_ju_{ij}$
$\Rightarrow |y_i|^2 = y_i^Ty_i = \sum\limits_{j=1}^{n}\sum\limits_{k=1}^{n}x_ju_{ij}u_{ki}x_k$
$\Rightarrow \sum\limits_{i=1}^{n}|y_i|^2 = y_i^Ty_i = \sum\limits_{j=1}^{n}\sum\limits_{k=1}^{n}x_j(\sum\limits_{i=1}^{n}u_{ij}u_{ki})x_k$

由于 $U$ 为一个正交矩阵，所以 $U^TU = I$,所以有 $\sum\limits_{i=1}^{n}u_{ij}u_{ki} = I_{jk}$

当 $j\neq k$时, $I_{jk} = 0$ ;当 $j = k$ 时， $I_{jk} = 1$。

所以我们有
$\sum\limits_{i=1}^{n}|y_i|^2 = \sum^n_{i=1}|x_i|^2$

到此，我们有

$\lambda_1 \leq R(A,x) \leq \lambda_n$

成立

当 $x = v_1$ 时 $R(A,x) = \lambda_1$ ,当 $x = v_n$ 时 $R(A,x) = \lambda_n$

且 $R(A,x)$ 具有缩放不变的性质

$x' = cx$ , $R(A,x') = \frac{x'^TAx'}{x'^Tx'} = \frac{cx^TAxc}{cx^Txc} = R(A,x)$

同时我们从拉格朗日乘子法的角度来求解：
不妨设 $x^Tx = 1$ ,且我们在此条件下求解 $R(A,x) = x^TAx$的极值
$L(x,\lambda) = x^TAx - \lambda(x^Tx - 1)$
对 $x$ 求导，令其为 $0$

$\Rightarrow Ax-\lambda x = 0$

此即为 $A$ 特征值的定义形式，所以容易得到与之前相同的结果

下面给出广义瑞利商的形式：

$R(A,B,x) = \frac{x^TAx}{x^TBx}$

拉格朗日乘子法的角度：

$Ax-\lambda Bx = 0$
$\Rightarrow B^{-1}Ax = \lambda x$

即有 $R(A,B,x)$ 的极值在 $B^{-1}A$ 的特征向量上取得

或者将其转化成狭义瑞利商的形式

令 $y = B^{\frac{1}{2}}x$ ,我们有
$R(A,B,x) = \frac{y^T(B^{-\frac{1}{2}})^TA(B^{-\frac{1}{2}})y}{y^Ty}$

即其取值范围为矩阵

$(B^{-\frac{1}{2}})^TAB^{-\frac{1}{2}}$

的特征值区间内

而且 $B^{-1}A$ 的特征值与 $(B^{-\frac{1}{2}})^TAB^{-\frac{1}{2}}$ 是一样的，区别只是对应的特征向量差了一个相同的变换

NOTE:
对 $(B^{-\frac{1}{2}})^TA(B^{-\frac{1}{2}})$ 进一步进行特征值分解 $VSV^T$
则 $y^T(B^{-\frac{1}{2}})^TA(B^{-\frac{1}{2}})y = y^TVSV^Ty = Z^TSZ$
即有 $Z = V^Ty$，且 $S$ 为对角线是特征值的矩阵。
此时有 $Z^TSZ = \sum\limits_{i=1}^{n}\lambda_iz_{i}^2$，条件变为 $Z^TZ = y^Ty = 1$
所以也容易得到上述结果