二一、正交补、转置矩阵的秩、子空间的维度

1. 定义

如果可以找到一个集合，集合中的每一个元素正交于子空间V中的每一个元素，那么该集合就称为V的正交补；Orthogonal complement of V, 可以简称为V perp，V perpendicular. V is some subspace of Rn.

$V^\perp = \left \{ \vec{x} \in R^n \left | \vec{x} \cdot \vec{v} = 0 \; for \; every \; \vec{v} \in V \right \}$

2. V的正交补是子空间

证明：

假设a,b是V的正交补中的元素，那么

$\vec{a} \cdot \vec{v} = 0 \qquad \vec{b} \cdot \vec{v} = 0$

1. a+b是V的正交补中的元素么？

$(\vec{a} + \vec{b}) \cdot \vec{v} = \vec{a} \cdot \vec{v} + \vec{b} \cdot \vec{v} = 0$

因此，根据定义，a+b是V的正交补中的元素

2. ca是V的正交补中的元素么？

$(c \vec{a}) \cdot \vec{v} = c(\vec{a} \cdot \vec{v}) = 0$

因此，根据定义，ca是V的正交补的元素

证明完毕

3. 转置矩阵的秩与原矩阵相等

$Rank(A) = Rank(A^T)$

矩阵的秩的定义：矩阵的秩等于列空间的维数；列空间维数的定义：列空间基向量的个数

$Rank(A)=dim(C(A))$

证明：

根据定义：

$Rank(A^T) = dim(C(A^T))$

又等于A转置的列空间基向量的个数。我们怎么算出基向量的个数？

假设

$\underset{m \times n}{A} = \begin{bmatrix} - & \vec{r_1} & - \\ - & \vec{r_2} & - \\ - & \cdots & - \\ - & \vec{r_m} & - \end{bmatrix} \qquad \underset{n \times m}{A^T} = \begin{bmatrix} | & | & | & |\\ \vec{r_1} & \vec{r_2} & \cdots & \vec{r_m} \\ | & | & | & | \end{bmatrix}$

因此，A转置的列空间等于A的行空间：

$C(A^T) = Span(\vec{r_1}, \vec{r_2}, \cdots, \vec{r_m}) = R(A)$

要想找到A转置的列空间的基，就是要找到一个最小的线性无关的向量集合。

如何求最小的线性无关的向量集合？

1. 将A转换为行简化阶梯型

一系列的行运算，相当于对行向量进行一系列的线性组合，我们也可以进行反向行运算，由行简化阶梯型重新得到原矩阵。当A转化为行简化阶梯型时，全为0的行表示该行可以由其它行的线性组合得到，而不全为0的行表示该行无法由其它行的线性组合得到，因此所有不全为0的行构成的集合可以当做行空间的一组基，不为0的行的数量，即为行空间的秩。又因为每一个不全为0的行一定包含主元，因此，主元的个数即为行空间的秩。

假设：

$rref(A) = \begin{bmatrix} 1 & 0 & 0 & \cdots & 0\\ 0 & 1 & 0 & \cdots & 0\\ 0 & 0 & 0 & \cdots & 0\\ 0 & 0 & 0 & 1 & X \\ 0 & 0 & 0 & \cdots & 0 \end{bmatrix}$

当A转换为行简化阶梯型时，假设第一个主元所在的列为A的列空间的基中的第一个向量，第二个主元所在的列构成的向量，一定不能由第一个主元所在的列向量的线性组合得到，因为除了主元所在的位置，其它位置都是0，而非主元所在的列，则可以由同一行的主元所在的列的线性组合得到，因此，所有主元所在的列向量，构成了列空间的一组基，主元的个数即为列空间的秩。

因此，主元的个数，既是列空间的秩，又是行空间的秩，又因为行空间是转置矩阵的列空间，所以列空间的秩，等于转置矩阵列空间的秩，即：转置矩阵的秩，与原矩阵相同

4. 子空间V的维度与V的正交补的维度的关系

$dim(V) + dim(V^\perp) = n$

子空间V的维度的定义：假设子空间V的基为

$\left \{ \vec{v_1}, \vec{v_2}, \cdots, \vec{v_k} \right \}$

那么子空间V的维度为其基中向量的个数k。

如何求子空间V的正交补的维度？首先求出子空间V的正交补，然后再求维度

1. 求出子空间V的正交补

为了求出V的正交补，我们构造一个矩阵，它的列向量就是基中的向量：

$\underset{n \times k}{A}=\begin{bmatrix} | & | & & | \\ \vec{v_1} & \vec{v_2} & \cdots & \vec{r_k} \\ | & | & & | \end{bmatrix}$

作为Rn中的向量，所以A为n行k列。因为V是由基中的向量张成的，矩阵A的列空间也是由基中的向量张成的，所以子空间V的另一种表示方法就是矩阵A的列空间，子空间V的正交补则为矩阵A的转置的零空间：

$V=span(\vec{v_1}, \vec{v_2}, \cdots, \vec{v_k}) = C(A)$

$V^\perp = N(A^T)$

2. 求V正交补的维度

V正交补的维度，等于矩阵A的转置的零空间的维度

$dim(V^\perp) = dim(N(A^T))$

$\underset{k \times n}{A^T} = \begin{bmatrix} - & \vec{v_1}^T & -\\ - & \vec{v_2}^T & -\\ & \cdots & \\ - & \vec{v_k}^T & - \end{bmatrix}$

我们知道，任意矩阵的秩与零度之间的关系，即它们的和等于列向量的个数：

$Rank(A^T) + Nullity(A^T) = n$

又因为上面3中刚介绍的

$Rank(A) = Rank(A^T)$

因此

$\begin{align*} &Rand(A) + Nullity(A^T) = n \\ &dim(C(A)) + dim(N(A^T)) = n \\ &dim(V) + dim(V^\perp) = n \end{align*}$

5. 子空间V和V的正交补的共同点

是否存在某些向量，这些向量既位于V中，又位于V的正交补中？假设存在某个向量x，那么该向量有什么性质？

$Assume: \vec{x} \in V \quad and \quad \vec{x} \in V^{\perp}$

$\vec{x} \in V^\perp \Rightarrow \vec{x} \cdot \vec{v} = 0 \: for \: any \: \vec{v} \in V$

$\vec{x} \in V \Rightarrow \vec{x} \cdot \vec{x} = 0 \Rightarrow \vec{x} = \vec{0}$

因此

$V\cap V^\perp = \left \{ \vec{0} \right \}$

V与V补这两个集合唯一的重叠部分就是0向量构成的集合

6. 用子空间V中的向量和V的正交补中的向量，表示Rn中的向量

假设

$V \in R^n \quad V^\perp \in R^n$

$dim(V) = k \quad dim(V^\perp) = n-k$

且V的基和V补的基为：

$basis \: for \: V = \left \{ \vec{v_1}, \vec{v_2}, \cdots, \vec{v_k} \right \}$

$basis \: for \: V^\perp = \left \{ \vec{w_1}, \vec{w_2}, \cdots, \vec{w}_{n-k} \right \}$

是否可以将上面两个集合组合起来，得到Rn的一组基？
如果

$c_1 \vec{ v_1} + c_2 \vec{ v_2} + \cdots + c_k \vec{ v_k} + d_1 \vec{ w_1} + d_2 \vec{ w_2} + \cdots + d_{n-k} \vec{w}_{n-k} = \vec{0}$

的唯一解为

$c_1, c_2, \cdots, c_k, d_1, d_2, \cdots, d_{n-k}$

全为0，那么V的基和V补的基组合起来，就是Rn的一组基

将上面的等式变为：

$c_1 \vec{v_1} + c_2 \vec{v_2} + \cdots + c_k \vec{v_k} = \vec{0} - (d_1 \vec{w_1} + d_2 \vec{w_2} + \cdots + d_{n-k} \vec{w}_{n-k})$

等式左边即为V中的一个向量，等式右边即为V补中的一个向量，因此，只有一个向量可以使上面的等式成立，即0向量，又因为 $\vec{v_1},\vec{v_2}, \cdots, \vec{v_k}$ 线性无关，因此 $c_1, c_2, \cdots, c_k$ 都等于0，同理 $d_1, d_2, \cdots, d_{n-k}$ 也都等于0，因此V的基和V补的基组合起来，线性无关；

之前我们知道，如果子空间的维度为n，且我们有n个线性无关的该子空间中的向量，那么这n个向量的集合，就是该子空间的基；

Rn是它自身的子空间， $\left \{ \vec{v_1},\vec{v_2},\cdots,\vec{v_k},\vec{w_1},\vec{w_2},\cdots,\vec{w}_{n-k} \right \}$ 即为它的一组基。

假设

$\vec{a} \in R^n$

$\vec{a} = c_1 \vec{v_1} + c_2 \vec{v_2} + \cdots + c_k \vec{v_k} + d_1 \vec{w_1} + d_2 \vec{w_2} + \cdots + d_{n-k} \vec{w}_{n-k}$

因此，任何Rn中的元素，都可以被表示成一个子空间V中的元素，加上子空间V补的元素的和，且只有一种方式

7. 正交补空间的正交补空间是原子空间

根据定义：

$V^\perp = \left \{ \vec{x} \in R^n \left | \vec{x} \cdot \vec{v} = 0 \: for \: every \: \vec{v} \in V \right \}$

$(V^\perp)^\perp = \left \{ \vec{y} \in R^n \left | \vec{y} \cdot \vec{w} = 0 \: for \: every \: \vec{w} \in V^\perp \right \}$

假设

$\vec{y} \in (V^\perp)^\perp$

且根据2中的介绍：

$\vec{y} = \vec{v} + \vec{w} \quad where \: \vec{v} \in V, \vec{w} \in V^\perp$

那么：

$\begin{align*} \vec{y} \cdot \vec{w} &= 0 \\ (\vec{v} + \vec{w}) \cdot \vec{w}&= 0 \\ \vec{v} \cdot \vec {w} + \left \| \vec{w} \right \| ^2 &= 0 \\ 0 + \left \| \vec{w} \right \| ^2 &= 0 \\ \vec{w} &= 0 \end{align*}$

因此：

$\vec{y} = \vec{v}$

正交补的正交补是原子空间

8. 零空间是行空间的正交补

零空间中的每一个元素正交于行空间中的每一个元素

假设x为矩阵A的零空间中的元素：

$N(A)=\left \{ \vec{x} \in R^n \left | A \vec{x} = \vec{0} \right \}$

$\underset{m \times n}{A} = \begin{bmatrix} \vec{r_1} \\ \vec{r_2} \\ \cdots \\ \vec{r_m} \end{bmatrix}$

$\vec{r_1} = \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \end{bmatrix}$

那么：

$\begin{align*} & \vec{r_1} \cdot \vec{x} = 0 \\ & \vec{r_2} \cdot \vec{x} = 0 \\ & \cdots \\ & \vec{r_m} \cdot \vec{x} = 0 \end{align*}$

矩阵A的行空间为：

$R(A) = Span(\vec{r_1}, \vec{r_2}, \cdots, \vec{r_m})$

行空间中的任意元素w为：

$\vec{w} = c_1 \vec{r_1} + c_2 \vec{r_2} + \cdots + c_m \vec{r_m}$

行空间中的任意元素w与零空间中的任意元素x的点积为：

$\begin{align*} \vec{w} \cdot \vec{x} &= (c_1 \vec{r_1} + c_2 \vec{r_2} + \cdots + c_m \vec{r_m}) \cdot \vec{x} \\ &= c_1(\vec{r_1} \cdot \vec{x}) + c_2(\vec{r_2} \cdot \vec{x}) + \cdots + c_m(\vec{r_m} \cdot \vec{x}) \\ &= 0 + 0 + \cdots + 0 \\ &= 0 \end{align*}$