【线性代数06】特征值及矩阵对角化的简要讨论

  终于到特征值的部分了，对于矩阵而言，特征值就像一种浓缩的信息。将特征值求出来后放在对角线的位置，就是直观视野下的对角化。矩阵能否对角化？怎样对角化?对角化后有什么好处？这是我们本次要讨论的内容。

求解特征值及特征向量

对角化

描述特征值和特征向量最经典的式子是下面这个
$$Ax=\lambda x$$
如果我们假定有$n$个特征向量，则
$$A\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_n\end{array}\right]=\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_n\end{array}\right]\left[\begin{array}{cccc}{\lambda }_1& 0& \dots & 0\\ 0& {\lambda }_2& \dots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \dots & {\lambda }_n\end{array}\right]\Rightarrow AS=S\Lambda$$
如果$S$可逆，则$A$就能对角化为$\Lambda$,这当$A$的$n$个特征值互不相同时是可实现的。 即
$$A=S\Lambda S^{-1}或\Lambda =S^{-1}AS$$
我们来看例子
$$A=\left[\begin{array}{cc}1& 2\\ -1& 4\end{array}\right]$$
由于$AS=S\Lambda$，所以能想到$|A-\lambda E||S|=0$当$|S|\ne 0$时，必然有$|A-\lambda E|=0$，以此作为求解特征值的依据
$$\det (A-\lambda I)=\left|\begin{array}{cc}1-\lambda & 2\\ -1& 4-\lambda \end{array}\right|=0$$
$$(1-\lambda )(4-\lambda )+2={\lambda }^2-5\lambda +6\Rightarrow {\lambda }_1=2,{\lambda }_2=3$$
将特征值代回后，即可求得对应的特征向量
$$\{\begin{array}{l}(A-{\lambda }_{1}I)x=(A-2I)x=0\Rightarrow \left[\begin{array}{cc}-1& 2\\ -1& 2\end{array}\right]x=0\Rightarrow x=\left[\begin{array}{c}2\\ 1\end{array}\right]\\ \\ (A-{\lambda }_{2}I)x=(A-3I)x=0\Rightarrow \left[\begin{array}{cc}-2& 2\\ -1& 1\end{array}\right]x=0\Rightarrow x=\left[\begin{array}{c}1\\ 1\end{array}\right]\end{array}$$
可以发现求解特征向量即求解$A-\lambda I$所在的零空间，与其所在的行空间正好垂直。应该说明，这样一个对角化的过程又称特征值分解或谱分解，用过频谱仪的朋友应该知道上面那几条孤零零的峰值线正是信号傅里叶分解后得到的谱线，虽然特征值的应用并不仅限于此。

更一般地，研究矩阵的秩和行列式与其特征值的关系，会发现下述结论：

矩阵的迹为特征值之和，行列式为特征值之积

对角化条件的讨论

并不是所有的矩阵都能实现对角化，实现对角化的条件是苛刻的，需要矩阵有$n$个不同的特征值。而如果矩阵中有两个相同的特征值，如
$$A=\left[\begin{array}{cc}1& 1\\ -1& 3\end{array}\right]$$
我们很清楚地知道两个特征值都是2，对应的特征向量都为
$$(A-2I)x=0\Rightarrow \left[\begin{array}{cc}-1& 1\\ -1& 1\end{array}\right]x=0\Rightarrow x=\left[\begin{array}{c}1\\ 1\end{array}\right]$$
此时就发生了特征向量的缺失。

若尔当标准型

对角矩阵相比于普通矩阵有更优良的性质，比如此时计算行列式的值就等于主对角线上各元素的乘积，而且此时矩阵也足够稀疏。若尔当提出了将矩阵近似对角化的方法，即矩阵总是可以化为若尔当标准型。如将前面所提到的矩阵进行相似对角化，就有：
$$A=\left[\begin{array}{cc}1& 1\\ -1& 3\end{array}\right]\Rightarrow B=\left[\begin{array}{cc}2& 1\\ 0& 2\end{array}\right]$$
可以发现相似矩阵A和B的迹和行列式是一致的，因此对应的特征值也是一致的，但特征向量一般不一致。

若尔当标准型的目标就是将更多的矩阵化简到一类只比对角矩阵稍微复杂的矩阵：若尔当标准型。实际上这是一种简单的分块对角矩阵。¹

$$\left[\begin{array}{ccc}{J}_1& & \\ & \ddots & \\ & & J_p\end{array}\right]$$
这里的“简单”是指每小块矩阵都具备一种很简单的形状：
$$J_i=\left[\begin{array}{cccc}{\lambda }_i& 1& & \\ & {\lambda }_i& \ddots & \\ & & \ddots & 1\\ & & & {\lambda }_i\end{array}\right]$$
其中主对角线上都是同一个系数，而对角线上方一排全是1。形同以上$J_i$的矩阵称为若尔当矩阵。而矩阵$J_i$中每一个这样的小块被称为若尔当块。如在最开始的例子中，C就是A化简后得到的若尔当块。
检验如下：

>> A=[1,1;-1,3];
>> [X,D] = eig(A) %对A作特征值分解

X =

    0.7071   -0.7071
    0.7071   -0.7071


D =

    2.0000         0
         0    2.0000

>> [V,J]=jordan(A) % 求解若尔当标准型

V =

    -1     1
    -1     0


J =

     2     1
     0     2

再举复杂一点的例子看看，可以发现此时有两个若尔当块。
$$D=\left[\begin{array}{c}\begin{array}{ccc}3& 1& 0\\ 0& 3& 0\\ 0& 0& 2\end{array}\end{array}\right]$$
我们可以按照特征值的理论去构造一个相应的三角阵$E$，如
$$E=\left[\begin{array}{ccc}3& 4& 5\\ 0& 3& 1\\ 0& 0& 2\end{array}\right]$$

>> E=[3,4,5;0,3,1;0,0,2];
>> [X,D] = eig(E),[V,J]=jordan(E)

X =

    1.0000   -1.0000   -0.5774
         0    0.0000   -0.5774
         0         0    0.5774


D =

     3     0     0
     0     3     0
     0     0     2


V =

   -1.0000   -1.0000    1.0000
   -1.0000         0   -0.2500
    1.0000         0         0


J =

     2     0     0
     0     3     1
     0     0     3

这些例子告诉我们，当存在重根时，矩阵就暗示了无法对角化的风险，因为此时可能无法再找到$n$个线性无关的特征向量，也就找不到对应的可逆矩阵$S$来完成对角化。(进一步讨论需要考虑重根的代数重数和几何重数是否相等，并不在此次讨论范围)

正规矩阵

当将数扩充到复数域后，我们着重来看一类特殊的矩阵——正规矩阵²，定义

有一类矩阵，如对角矩阵、实对称矩阵（$A^T=A$）、实反对称矩阵（$A^T=-A$）、厄米特矩阵（$A^H=A$）、反厄米特矩阵（$A^H=-A$）、正交矩阵（$A^{T}A=A{A}^T=E$）以及酉矩阵（$A^{H}A=A{A}^H=E$）等，都有一个共同的性质：$A^{H}A=A{A}^H$。为了能够用统一的方法研究他们的相似标准型，我们引入正规矩阵的概念。设$A\in {\mathbb{C}}^{m\times n}$，且$A^{H}A=A{A}^H$，则称为正规矩阵。

容易看出，实矩阵在引入共轭的概念后仅是复矩阵的特例，所谓酉矩阵也只是标准正交矩阵在复数域上的推广。正规矩阵是类很特殊的矩阵，而特殊的矩阵会具有特殊的性质。在方阵条件下，正规矩阵除了有$n$个不同的特征值外，最重要的一点是属于不同特征值的特征子空间是互相正交的。应该指出，这样一个对角化的结果将能确保$n$个特征值所对应的矩阵恰好是一个酉矩阵，而酉矩阵对应的逆矩阵正是其共轭转置矩阵，即$A^{-1}=A^H$，这就是最棒的特殊性质。
$$A=U\Lambda U^H或\Lambda =U^{H}AU$$

比如我们看一个简单的实对称矩阵
$$A=\left[\begin{array}{cc}3& 1\\ 1& 2\end{array}\right]$$

>> [X,D]=eig([3,1;1,2])

X =

    0.5257   -0.8507
   -0.8507   -0.5257

D =

    1.3820         0
         0    3.6180


>> X*D*X'  % 检验X作为标准正交矩阵的性质

ans =

    3.0000    1.0000
    1.0000    2.0000

应用

接下来我们谈谈矩阵对角化的好处，比如为计算$A^n$时带来了方便，而这种矩阵自我的幂次，常常能用于描述系统演化的规律。

求解差分方程

一个经典的例子就是斐波那切数列，即满足‘0，1，1，2，3，5，8，13，21，34，55，89，144，···’ 这样一个递增规律的数列。写成前后项的通式即
$$F(n)=F(n-1)+F(n-2)$$
这在算法题中经常作为递归实现的典型例子，但这次我们关注的是其通项是如何求得的。根据差分方程的理论，我们可以列出其特征根方程为
$$r^2-r-1=0$$
于是解得
$$r_1=\frac{1+\sqrt{5}}{2}=1.618r_2=\frac{1-\sqrt{5}}{2}=-0.618$$
从而
$$F(n)=C_1{r}_1^n+C_2{r}_2^n$$
根据
$$\{\begin{array}{ll}{C}_1+C_2=0& n=0\\ C_1{r}_1+C_2{r}_2=1& n=1\end{array}\Rightarrow C_1=\frac{1}{r_1-r_2}=0.447,C_2=\frac{1}{r_2-r_1}=-0.447$$
最后
$$F(n)=0.447(1.618{)}^n-0.447(-0.618{)}^n$$
现在我们从矩阵的视角出发，首要的问题就在于，A在哪里？ 通过补充一个$F(n-1)=F(n-1)$项，我们成功找到了A：
$$\{\begin{array}{l}F(n)=F(n-1)+F(n-2)\\ F(n-1)=F(n-1)\end{array}\Rightarrow \left[\begin{array}{cc}1& 1\\ 1& 0\end{array}\right]\left[\begin{array}{c}F(n-1)\\ F(n-2)\end{array}\right]=\left[\begin{array}{c}F(n)\\ F(n-1)\end{array}\right]\Rightarrow A{x}_{n-1}=x_n$$
由于$A{x}_{n-1}=x_n$，于是逐次向下迭代到$x_1$就有：
$$A^{n-1}{x}_1=x_n$$
现在转换为怎么求$A^{n-1}$，注意到$A$是可对角化的矩阵
$$A=S\Lambda S^{-1}\Rightarrow A^n=S{\Lambda }^n{S}^{-1}$$
因此计算对角矩阵$\Lambda$的幂次将十分方便，只需令每个特征值变成相应的幂次即可。求解$A$的特征值
$$\det (A-\lambda I)=\left|\begin{array}{cc}1-\lambda & 1\\ 1& -\lambda \end{array}\right|={\lambda }^2-\lambda -1$$
可见此处的$\lambda$就前面的特征根方程这种的$r$是一致的。（这并不偶然）
$${\lambda }_1=\frac{1+\sqrt{5}}{2}=1.618{\lambda }_2=\frac{1-\sqrt{5}}{2}=-0.618$$
再求特征向量，有趣的是，此时的特征向量可以取为
$$x=\left[\begin{array}{c}1\\ \lambda -1\end{array}\right]\Rightarrow S=\left[\begin{array}{cc}1& 1\\ {\lambda }_1-1& {\lambda }_2-1\end{array}\right]=\left[\begin{array}{cc}1& 1\\ 0.618& -0.618\end{array}\right]$$
于是有
$$A^{n-1}=S{\Lambda }^{n-1}{S}^{-1}=\left[\begin{array}{cc}1& 1\\ 0.618& -0.618\end{array}\right]\left[\begin{array}{cc}{\lambda }_1^{n-1}& 0\\ 0& {\lambda }_2^{n-1}\end{array}\right]\left[\begin{array}{cc}0.7236& 0.4472\\ 0.2764& -0.4472\end{array}\right]$$
可以求得$A_{11}^{n-1}=0.7236{\lambda }_1^{n-1}+0.2764{\lambda }_2^{n-1}$，由于$x_1=[1,0{]}^T$,所以
$$F(n)=A_{11}^{n-1}=0.7236{\lambda }_1^{n-1}+0.2764{\lambda }_2^{n-1}=0.447(1.618{)}^n-0.447(-0.618{)}^n$$
从而验证了两种方法的一致性。在信号与系统中，我们学过特征根与系统的稳定性相关，当特征根的绝对值小于1时，此时系统会趋向于稳定，这从等比数列的敛散性能直观看出。

求解微分方程

微分方程与差分方程理论的相似之处在于利用特征根方程求得特征根，再利用已知的初始条件待定$n$个系数。对于微分方程而言，此时解的形式为
$$f(t)=C_1{e}^{r_{1}t}+C_2{e}^{r_{2}t}+\cdots +C_n{e}^{r_{n}t}$$
而我们知道$e^x$的幂级数展开式为
$$e^x=\sum _{n=0}^{\infty }\frac{x^n}{n!}=1+x+\frac{x^2}{2}+\frac{x^3}{6}+\cdots$$
而如果能将其表示为矩阵形式$e^{At}$，即
$$e^{At}=I+At+\frac{A^2{t}^2}{2}+\frac{A^3{t}^3}{6}+\cdots =S{\Lambda }^0{S}^{-1}+S\Lambda S^{-1}t+\frac{S{\Lambda }^2{S}^{-1}{t}^2}{2}+\cdots =S{e}^{\Lambda t}{S}^{-1}$$
这正是问题过渡求解的核心思想。类似地，在微分方程中，此时特征根的实部为负时，系统才会趋向于稳定，而在一般的电路设计其实经常会出现对系统稳定性的考察。比如对于下面的这个微分方程
$$y^{\prime \prime }+b{y}^{\prime }+ky=0$$
我们同样可以找出这个矩阵A，即
$$\left[\begin{array}{cc}-b& -k\\ 1& 0\end{array}\right]\left[\begin{array}{c}{y}^{\prime }\\ y\end{array}\right]=\left[\begin{array}{c}{y}^{\prime \prime }\\ y^{\prime }\end{array}\right]\Rightarrow A{x}_{n-1}=x_n$$

综上可以发现，在差分方程中，阶次由前后项的顺序决定，在微分方程中，阶次由微分次数决定。一般性地，我们可以将矩阵A写作下列形式，从而将$n$阶的方程转换成了一个1维的的向量方程。
$$A=\left[\begin{array}{c}最高阶用其他阶表示的系数行\\ n-1阶单位阵+1列0\end{array}\right]$$

---

1. 维基百科-若尔当标准型 ↩︎

2. 百度百科-正规矩阵 ↩︎