The Span of the set of vectors
Definition 1
Let \(\mathcal { S } = \left\{ \mathbf { u } _ { 1 } , \mathbf { u } _ { 2 } , \dots , \mathbf { u } _ { k } \right\}\) is a set of vectors from \(\mathcal{R^n}\), the span of \(\mathcal{S}\) is all linear combinations in \(\mathcal{R^n}\), the set is denoted by span \(\mathcal{S}\), or span \(\left\{ \mathbf { u } _ { 1 } , \mathbf { u } _ { 2 } , \dots , \mathbf { u } _ { k } \right\}\)
\(\vec v \in \text{span } \mathcal{S} \Longleftrightarrow \vec v \text{ can be some linear combination by the vectors from $\mathcal{S}$} \Longleftrightarrow \mathbf{A}\vec x = \vec v\text{ is consistent where $\mathbf{A} = [\vec u_1~ \cdots~\vec u_n]$}\)
Definition 2
If \(\mathcal{ V}\) is a set of vectors from \(\mathcal{R^n}\) and span \(\mathcal{S}\) = \(\mathcal{V}\), then we can say that \(\mathcal{S}\) generates \(\mathcal{V}\) or that \(\mathcal{S}\) is a generating set of \(\mathcal{V}\),
Example 1
Let \(\mathcal { S } = \left\{ \left[ \begin{array} { l } { 1 } \\ { 0 } \\ { 0 } \end{array} \right] , \left[ \begin{array} { l } { 1 } \\ { 1 } \\ { 0 } \end{array} \right] , \left[ \begin{array} { l } { 1 } \\ { 1 } \\ { 1 } \end{array} \right] , \left[ \begin{array} { r } { 1 } \\ { - 2 } \\ { - 1 } \end{array} \right] \right\}\), show that span \(\mathcal{S} = \mathcal{R^3}\)
证明：
由于 \(\text{span }\mathcal{S} \subset \mathcal{R}^3\)是显然成立的，我们需要证明\(\mathcal{R}^3 \subset \text{span }\mathcal{S}\), 即\(\mathcal{R^3}\)中的任一向量\(\vec v\)是属于\(\text{span } \mathcal{S}\)的，进一步，我们就是要证明方程\(\mathbf{A}x = v\)是有解的(or named consistent)\((\forall \vec v \in \mathcal{R^3})\)，其中
\[ \mathbf{A} = \left[ \begin{array} { r r r r } { 1 } & { 1 } & { 1 } & { 1 } \\ { 0 } & { 1 } & { 1 } & { - 2 } \\ { 0 } & { 0 } & { 1 } & { - 1 } \end{array} \right] \]
将矩阵A化为最简行阶梯形式R
\[ \mathbf{R}=\left[\begin{array}{cccc}{1} & {0} & {0} & {3} \\ {0} & {1} & {0} & {-1} \\ {0} & {0} & {1} & {-1}\end{array}\right] \]
由此可知，将增广矩阵\([\mathbf{A}~ b]\)化为\([\mathbf{R}~ c]\)之后，这里不管\(\vec c\)是多少，线性方程组一定是可求解的，即不管增广矩阵\([\mathbf{A}~b]\)是多少，线性方程组一定是有解的，这对\(\mathcal{R^3}\)中的任意向量\(\vec v\)都成立，则\(\mathcal{R^3} \subset \text{span } \mathcal{S}\)，根据上述所证明结论可以的出span \(\mathcal{S} = \mathcal{R^3}\)。
Theorem 1.6
The following statements about an \(m \times n\) matrix \(\mathbf{A}\) are equivalent
(a) The span of columns of \(\mathbf{A}\)is \(\mathcal{R^m}\)
(b) The equation \(\mathbf{A}x = b\) has at least one solution (\(Ax = b\) is consistent) for each b in \(\mathcal{R^m}\)
(c) The rank of \(\mathbf{A}\) is m, the numer of rows in \(\mathcal{A}\)
(d) The reduced row echelon form of \(\mathcal{A}\) has m nonzero rows
(e) There is a pivot in each row of \(\mathcal{A}\)
只证明 (b)\(\Longleftrightarrow\)(c)，其他的可以由定义直接推出
(1) (b) \(\Rightarrow\) (c)
假设(c)不成立，即rank(\(\mathbf{A}\)) < m，则矩阵\(\mathbf{A}\)化为最简行阶梯型矩阵R之后，最后的一行一定是非零行，我们取第m个元素为1的单位向量\(\vec e_m\)与\(\mathbf{R}\)组成矩阵\([\mathbf{R}~e_m]\)，则\([\mathbf{R}~e_m]\)是不相合的(根据定理1.5)，由于将\(\mathbf{A}\)变为\(\mathbf{R}\)的基本行变换是可逆的，我们对\([\mathbf{R}~ e_m]\)施加这一系列行变换的逆变换，则可以得到增广矩阵\([\mathbf{A}~ b]\)，由\([\mathbf{R}~ e_m]\)不是相合的我们可以得到\([\mathbf{R}~ e_m]\)不是相合的，且\(\vec b \in \mathbf{R^m}\)，则与前提(b)相悖，假设不成立，即(c)是成立的，(b) \(\Rightarrow\) (c)得证
(2) (c) \(\Rightarrow\) (b)
由(c)可知\([\mathbf{A}~ b]\)化\([\mathbf{R}~c]\)之后，\([\mathbf{R}~c]\)不存在只在最后列有非零元的行，由之前的定理1.5，\(\mathbf{A} x = b\)是相合的，即(b)成立，(b) \(\Rightarrow\) (c)得证。
综上，(b)\(\Longleftrightarrow\)(c)
\([1~-1]^{T}， [0~1]^{T}\)可以张成\(\mathcal{R}^2\)，进而$[1~-1]^{T}， [0~1]^{T}， [2 ~3]^{T} \(也可以张成\)\mathcal{R}^2\(，那么如何给出最小的有穷集合\)\mathcal{S}$，使得span \(\mathcal{S} = \mathcal{R}^m\)，如果不是最小，\(\mathcal{S}\)中多余的向量\(~\vec v~\)又有什么性质。
Theorem 1.7
Let \(\mathcal{S} = \lbrace \vec u_1, \cdots , \vec u_n\rbrace\), prove that
\[ span~\lbrace \vec u_1, \cdots , \vec u_n\rbrace = span~\lbrace \vec u_1, \cdots , \vec u_n, \vec v\rbrace \Longleftrightarrow \vec v \in span~\mathcal{S} \]
证明：
充分性：
\(\vec v \in span~\lbrace \vec u_1, \cdots , \vec u_n, \vec v\rbrace\)，且 \(span~\lbrace \vec u_1, \cdots , \vec u_n\rbrace = span~\lbrace \vec u_1, \cdots , \vec u_n, \vec v\rbrace\)，有\(\vec v \in span~\lbrace \vec u_1, \cdots , \vec u_n\rbrace = ~span~\mathcal{S}\)，充分性得证。
必要性：
\(\vec v \in ~span~\mathcal{S}\)则\(\vec v\)是集合S中的向量的线性组合，不妨设
\[ \vec v = c_1 \vec u_1 + c_2 \vec u_2 + \cdots + c_n\vec u_n \]
则span {\(\mathcal{S} \cup {\vec v}\)}中的任意一个向量\(\vec \alpha = l_1 \vec u_1 + l_2 \vec u_2 + \cdots + l_n\vec u_n + c_1 \vec u_1 + c_2 \vec u_2 + \cdots + c_n\vec u_n\)，整理可得
\[ \vec \alpha = (l_1 + c_1)\vec u_1 + (l_2 + c_2)\vec u_2 + \cdots + (l_n + c_n)\vec u_n \in~span~\mathcal{S} \]
即span {\(\mathcal{S}\cup{\vec v}\)} \(\subset\) span \(\mathcal{S}\)，另一方面，span \(\mathcal{S}\) \(\subset\) span {\(\mathcal{S}\cup{\vec v}\)} 是显然的，所以span \(\mathcal{S}\) = span {\(\mathcal{S} \cup {\vec v}\)}，必要性得证。
Remark
方程组的解与系数矩阵的秩\(rank(\mathbf{A})\)和增广矩阵的秩\(rank([\mathbf{A}~b])\)的关系
设\(rank(\mathbf{A}) = m, rank([\mathbf{A}~b]) = n, \mathbf{A}\)的列数是\(~k\).
(1) n > m 线性方程组无解(存在\(0a_1 + \cdots +0a_n = d \neq 0\))
(2) n = m 线性方程组有解，1. n = m = k 唯一非零解 2. n = m < k 无数解
而当\(~b = 0~\)的时候，\(\mathbf{A}x = b \rightarrow \mathbf{A}x = 0\)就是齐次线性方程组，至少有一个零解。
(1) n < k 线性方程组有无数解
(2) n = k 线性方程组有唯一零解
Problem
(1) 矩阵\(\mathbf{A}\)经过初等行变换之后化为最简行阶梯型的矩阵为\(\mathbf{R}\)，设\(\mathcal{A}\)代表由\(\mathbf{A}\)中的行向量组成的集合，\(\mathcal{R}\)代表由\(\mathbf{R}\)中的行向量组成的集合，则有
\[ span~\mathcal{A} = span~\mathcal{R} \]$\qquad (span~\lbrace \vec u_1 , \vec u_2, \cdots, \vec u_n\rbrace = span~\mathcal{A})$ \]
证明：为了简单起见，我们先考虑初等变换发生在\(\mathbf{A}\)的第一行和第二行之间
case I: 矩阵\(\mathcal{A}\)发生了行交换
很明显，交换后的行向量组成的集合中的元素是不会发生改变的，span也就不会发生改变
case II: 一个scalar k乘以矩阵\(\mathcal{A}\)的第一行(\(k \neq 0\))
\[ \forall \alpha \in span~\mathcal{A} \Rightarrow \alpha = c_1 \vec u_1 + c_2 \vec u_2 + \cdots + c_n \vec u_n = \dfrac{c_1}{k}k \vec u_1 + c_2 \vec u_2 + \cdots + c_n \vec u_n \in span \lbrace k\vec u_1, \vec u_2, \cdots, \vec u_n\rbrace \\ \forall \alpha \in span \lbrace k\vec u_1, \vec u_2, \cdots, \vec u_n\rbrace \Rightarrow \alpha = m_1 k\vec u_1 + \cdots + m_n \vec u_n \in span~\mathcal{A} \]
我们可以得到
\[ span~\mathcal{A} \Longleftrightarrow span~\lbrace k\vec u_1, \vec u_2, \cdots, \vec u_n\rbrace \]
case III: 矩阵\(\mathbf{A}\)的第一行乘以scalar k之后加到第二行上
\[ \forall \alpha \in span~\mathcal{A} \Rightarrow \alpha = c_1 \vec u_1 + c_2 \vec u_2 + \cdots + c_n \vec u_n = (c_1-c_2k)\vec u_1 + c_2(k\vec u_1 + \vec u_2) + \cdots + c_n \vec u_n \in span \lbrace \vec u_1, \vec u_2 + k\vec u_1, \cdots, \vec u_n\rbrace \\ \forall \alpha \in span \lbrace \vec u_1, \vec u_2 + k\vec u_1, \cdots, \vec u_n\rbrace \Rightarrow \alpha = (m_1 + km_2)\vec u_1 + \cdots + m_n \vec u_n \in span~\mathcal{A} \]
我们可以得到
\[ span~\mathcal{A} \Longleftrightarrow span~\lbrace \vec u_1, \vec u_2 + k\vec u_1, \cdots, \vec u_n\rbrace \]
即矩阵\(\mathbf{A}\)经过若干次初等行变换的矩阵\(\mathbf{B}\)有\(span~\mathcal{A} \Longleftrightarrow span~\mathcal{B}\)，以此类推，我们可以得到
\[ span~\mathcal{A} \Longleftrightarrow span~\mathcal{R} \]
(2)上题中\(\mathbf{A}\)的列向量和\(\mathbf{R}\)中的列向量张成的空间是否等价
否，反例\(A = \left[ \begin{array} { l l } { 1 } & { 0 } \\ { 1 } & { 0 } \end{array} \right]\)，\(R = \left[ \begin{array} { l l } { 1 } & { 0 } \\ { 0 } & { 0 } \end{array} \right]\)