二十、转置矩阵

1. 定义

假设

$\underset{m \times n}{A} = \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n}\\ a_{21} & a_{22} & \cdots & a_{2n}\\ \cdots & \cdots & \cdots & \cdots\\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{bmatrix}$

交换A的所有行和列后，形成的新矩阵，即为矩阵A的转置矩阵：

$\underset{n \times m}{A^T} = \begin{bmatrix} a_{11} & a_{21} & \cdots & a_{m1}\\ a_{12} & a_{22} & \cdots & a_{m2}\\ \cdots & \cdots & \cdots & \cdots\\ a_{1n} & a_{2n} & \cdots & a_{mn} \end{bmatrix}$

对一个矩阵进行转置的转置，结果是原矩阵：

$(C^T)^T = C$

2. 下面为转置矩阵的性质

分析矩阵时，我们主要从加法、乘法、零空间、列空间、秩、行列式等角度进行分析

矩阵又分为原始矩阵、逆矩阵、转置矩阵等，我们会分析这几种矩阵的加法、乘法、零空间、列空间、秩、行列式等之间的关系

2.1 矩阵加法的转置

矩阵加法的转置，等于矩阵转置的加法

$(\mathbf{A+B})^T = (\mathbf{A})^T + (\mathbf{B})^T$

证明：

假设

$\mathbf{C} = \mathbf{A} + \mathbf{B}$

$\mathbf{A} = \begin{bmatrix} \cdots & \cdots & \cdots & \cdots\\ \cdots & \cdots & a_{ij} & \cdots\\ \cdots & \cdots & \cdots & \cdots\\ \cdots & \cdots & \cdots & \cdots \end{bmatrix} \qquad \mathbf{A}^T = \begin{bmatrix} \cdots & \cdots & \cdots & \cdots\\ \cdots & \cdots & a'_{ij} & \cdots\\ \cdots & \cdots & \cdots & \cdots\\ \cdots & \cdots & \cdots & \cdots \end{bmatrix}$

根据转置矩阵的定义：

$a'_{ij} = a_{ji} \qquad b'_{ij} = b_{ji} \qquad c'_{ij} = c_{ji}$

根据矩阵加法的定义：

$c_{ij} = a_{ij} + b_{ij}$

因此：

$c'_{ij} = c_{ji} = a_{ji} + b_{ji} = a'_{ij} + b'_{ij}$

$\mathbf{C}^T = (\mathbf{A+B})^T = \mathbf{A}^T + \mathbf{B}^T$

2.2 矩阵乘积的转置

矩阵乘积的转置，等于逆序的矩阵转置的乘积：

$(\mathbf{A} \mathbf{B})^T = \mathbf{B}^T \mathbf{A}^T$

可以扩展到2个以上的矩阵：

$(\mathbf{A} \mathbf{B} \mathbf{C})^T = \mathbf{C}^T \mathbf{B}^T \mathbf{A}^T$

证明：

假设

$\underset{m \times n}{\mathbf{A}} = \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1j} & \cdots & a_{1n}\\ a_{21} & a_{22} & \cdots & a_{2j} & \cdots & a_{2n}\\ \cdots & \cdots & \cdots & \cdots & \cdots & \cdots \\ a_{i1} & a_{i2} & \cdots & a_{ij} & \cdots & a_{in}\\ \cdots & \cdots & \cdots & \cdots & \cdots & \cdots \\ a_{m1} & a_{m2} & \cdots & a_{mj} & \cdots & a_{mn} \end{bmatrix} \qquad \underset{n \times m}{\mathbf{B}} = \begin{bmatrix} b_{11} & b_{12} & \cdots & b_{1j} & \cdots & b_{1m}\\ b_{21} & b_{22} & \cdots & b_{2j} & \cdots & b_{2m}\\ \cdots & \cdots & \cdots & \cdots & \cdots & \cdots\\ b_{i1} & b_{i2} & \cdots & b_{ij} & \cdots & b_{im}\\ \cdots & \cdots & \cdots & \cdots & \cdots & \cdots\\ b_{n1} & b_{n2} & \cdots & b_{nj} & \cdots & b_{nm} \end{bmatrix}$

$\underset{m \times n}{\mathbf{B}^T} = \begin{bmatrix} b_{11} & b_{21} & \cdots & b_{i1} & \cdots & b_{n1} \\ b_{12} & b_{22} & \cdots & b_{i2} & \cdots & b_{n2} \\ \cdots & \cdots & \cdots & \cdots & \cdots & \cdots \\ b_{1j} & b_{2j} & \cdots & b_{ij} & \cdots & b_{nj} \\ \cdots & \cdots & \cdots & \cdots & \cdots & \cdots \\ b_{1m} & b_{2m} & \cdots & b_{im} & \cdots & b_{nm} \end{bmatrix} \qquad \underset{n \times m}{\mathbf{A}^T} = \begin{bmatrix} a_{11} & a_{21} & \cdots & a_{i1} & \cdots & a_{m1}\\ a_{12} & a_{22} & \cdots & a_{i2} & \cdots & a_{m2}\\ \cdots & \cdots & \cdots & \cdots & \cdots & \cdots \\ a_{1j} & a_{2j} & \cdots & a_{ij} & \cdots & a_{mj}\\ \cdots & \cdots & \cdots & \cdots & \cdots \cdots \\ a_{1n} & a_{2n} & \cdots & a_{in} & \cdots & a_{mn} \end{bmatrix}$

定义：

$\underset{m \times m}{\mathbf{C}} = \mathbf{AB} = \begin{bmatrix} c_{11} & c_{12} & \cdots & c_{1m}\\ c_{21} & c_{22} & \cdots & c_{2m}\\ \cdots & \cdots & \cdots & \cdots\\ c_{m1} & c_{m2} & \cdots & c_{mm}\\ \end{bmatrix}$

$\underset{m \times m}{\mathbf{D}} =\mathbf{B}^T \mathbf{A}^T = \begin{bmatrix} d_{11} & d_{12} & \cdots & d_{1m}\\ d_{21} & d_{22} & \cdots & d_{2m}\\ \cdots & \cdots & \cdots & \cdots\\ d_{m1} & d_{m2} & \cdots & d_{mm}\\ \end{bmatrix}$

矩阵C，D中的分量为：

$c_{ij} = a_{i1} b_{1j} + a_{i2} b_{2j} + \cdots + a_{in} b_{nj}$

$\begin{align*} d_{ji} &= b_{1j} a_{i1} + b_{2j} a_{i2} + \cdots + b_{nj} a_{in}\\ &= a_{i1} b_{1j} + a_{i2} b_{2j} + \cdots + a_{in} b_{nj} \end{align*}$

因此：

$c_{ij} = d_{ji}$

即C中的第i行，第j列元素，等于D中的第j行，第i列元素，且对所有元素都成立；从而C转置=D：

$\mathbf{C}^T = \mathbf{D} \qquad \mathbf{C} = \mathbf{D}^T$

$(\mathbf{AB})^T = \mathbf{C}^T = \mathbf{D} = \mathbf{B}^T \mathbf{A}^T$

$(\mathbf{AB})^T = \mathbf{B}^T \mathbf{A}^T$

2.3. 转置矩阵的零空间、列空间、秩

2.3.1 转置矩阵的列空间，等于原始矩阵的行空间：

$C(A^T) = Row \; space \; of \; A$

2.3.2 转置矩阵的零空间，是所有满足下面方程的向量x:

$A^T \vec{x} = \vec{0}$

对等式两边分别转置：

$(A^T \vec{x})^T = (\vec{0})^T$

$\vec{x} ^T A = \vec{0} ^ T$

现在得到了关于原始矩阵A的方程，因此转置矩阵的零空间为：

$N(A^T) = \left \{ \vec{x} | A^T \vec{x} = \vec{0} \right \} = \left \{ \vec{x} | \vec{x} ^T A = \vec{0} ^T \right \}$

我们用另一个名字来称呼转置矩阵的零空间--原始矩阵的左零空间，为什么叫“左零空间”，因为现在是左乘x

2.3.3 零空间中的任意向量，与行空间中的任意向量正交（下一篇文章中证明）

2.3.4 列空间中的任意向量，与左零空间中的任意向量正交（下一篇文章中证明）

2.3.5 属性：转置的秩，与原矩阵相同（下一篇文章中证明）

2.4. 转置矩阵的行列式

性质：转置矩阵的行列式，等于原矩阵的行列式

证明过程（使用归纳法）：

1. 证明对最基本的情况成立，例如2x2矩阵的行列式等于其转置矩阵的行列式

2. 假设对nxn矩阵成立，证明对(n+1)x(n+1)矩阵成立

3. 假设n=2, 如果2x2矩阵成立，那么3x3矩阵成立；如果3x3矩阵成立，那么4x4矩阵成立，等等

详细证明：

1. 证明2x2矩阵的行列式，等于其转置矩阵的行列式

假设：

$A=\begin{bmatrix} a & b\\ c & d \end{bmatrix}$

那么：

$A^T=\begin{bmatrix} a & c\\ b & d \end{bmatrix}$

$det(A) = ad - bc$

$det(A^T) = ad-bc$

因此：

$det(A) = det(A^T)$

2. 假设nxn矩阵的行列式等于其转置矩阵的行列式，证明(n+1)x(n+1)矩阵的行列式等于转置矩阵的行列式

假设：

$\underset{(n+1)\times(n+1)}{B}=\underset{m\times m}{B}=\begin{bmatrix} a_{11} & a_{12} & a_{13} & \cdots & a_{1m}\\ a_{21} & a_{22} & a_{23} & \cdots & a_{2m}\\ a_{31} & a_{32} & a_{33} & \cdots & a_{3m}\\ \cdots & \cdots & \cdots & \cdots & \cdots\\ a_{m1} & a_{m2} & a_{m3} & \cdots & a_{mm} \end{bmatrix}$

那么：

$m=n+1$

$B^T=\begin{bmatrix} a_{11} & a_{21} & a_{31} & \cdots & a_{m1} \\ a_{12} & a_{22} & a_{32} & \cdots & a_{m2} \\ a_{13} & a_{23} & a_{33} & \cdots & a_{m3} \\ \cdots & \cdots & \cdots & \cdots & \cdots \\ a_{1m} & a_{2m} & a_{3m} & \cdots & a_{mm} \end{bmatrix}$

根据B的第一行求行列式：

$det(B)=a_{11}det(B_{11})-a_{12}det(B_{12})+\cdots+(-1)^{1+m}det(B_{1m})$

根据B的转置矩阵的第一列求行列式：

$det(B^T)=a_{11}det((B_{11})^T)-a_{12}det((B_{12})^T)+\cdots+(-1)^{1+m}a_{1m}det((B_{1m})^T)$

因为

$B_{11}, B_{12}, \cdots , B_{1m}$

为n x n 矩阵，我们又假设 n x n 矩阵的行列式等于其转置矩阵的行列式：

$det(B_{11}) = det((B_{11})^T) \:\:\: det(B_{12}) = det((B_{12})^T) \:\: \cdots$

因此:

$\begin{align*} det(B^T) &= a_{11}det((B_{11})^T)-a_{12}det((B_{12})^T)+\cdots+(-1)^{1+m}a_{1m}det((B_{1m})^T)\\ &= a_{11}det(B_{11})-a_{12}det(B_{12})+\cdots+(-1)^{1+m}a_{1m}det(B_{1m})\\ &= det(B) \end{align*}$

(n+1) x (n+1)矩阵的行列式等于其转置矩阵的行列式

3. 因为2x2矩阵的行列式等于其转置矩阵的行列式，根据第二条证明，3x3矩阵的行列式等于其转置矩阵的行列式，依次类推，nxn矩阵的行列式等于其转置矩阵的行列式

2.5 逆矩阵的转置

逆矩阵的转置，是转置矩阵的逆矩阵

证明：

$AA^{-1} = I_n \qquad A^{-1}A = I_n$

对等号两边同时转置：

$(AA^{-1})^T = (I_n)^T = I_n \qquad (A^{-1}A)^T = (I_n)^T = I_n$

利用2.2中介绍的“矩阵乘积的转置”：

$(AA^{-1})^T = (A^{-1})^T A^T = I_n \qquad (A^{-1}A)^T = A^T (A^{-1})^T = I_n$

因此，逆矩阵的转置，是转置矩阵的逆矩阵

3. 转置向量

既然可以求矩阵的转置，那么就没有理由不可以求向量的转置，因为向量是特殊的矩阵

性质一： $\vec{v} \cdot \vec{y} = \vec{v}^T \vec{y}$ ，向量v和w的点积，等于v的转置与w的积（向量点积与积的关系）

性质二： $(A \vec{x}) \cdot \vec{y} = \vec{x} \cdot (A^T \vec{y})$

这两个性质是线性代数的基础

证明：

1. 假设

$\vec{v} = \begin{bmatrix} v_1\\ v_2\\ \cdots\\ v_n \end{bmatrix} \qquad \vec{w} = \begin{bmatrix} w_1\\ w_2\\ \cdots\\ w_n \end{bmatrix}$

向量v和w的点积定义为：

$\vec{v} \cdot \vec{w} = v_1w_1 + v_2w_2 + \cdots + v_nw_n$

v的转置与w的积(矩阵乘积):

$\vec{v}^T=\begin{bmatrix}v_1&v_2&\cdots&v_n\end{bmatrix}$

$\begin{align*} \vec{v}^T \vec{w} &= \begin{bmatrix} v_1 & v_2 & \cdots & v_n \end{bmatrix} \begin{bmatrix} w_1\\ w_2\\ \cdots\\ w_n \end{bmatrix}\\ &= \begin{bmatrix} v_1w_1 + v_2w_2 + \cdots + v_nw_n\end{bmatrix}\\ &= v_1w_1 + v_2w_2 + \cdots + v_nw_n \end{align*}$

因此，向量v和w的点积，等于v的转置与w的积

$\begin{align*} (\underset{m \times n}{A} \quad \underset{n \times 1}{\vec{v}}) \cdot \underset{n \times 1}{\vec{y}}&= (A \vec{v})^T \vec{y}\\ &= (\vec{v}^T A^T) \vec{y} \\ &= \vec{v}^T (A^T \vec{y}) \\ &= \vec{v} \cdot (A^T \vec{y}) \end{align*}$