矩阵分析 (一) 线性空间和线性变换

我的微信公众号名称：AI研究订阅号
微信公众号ID：MultiAgent1024
公众号介绍：主要研究强化学习、计算机视觉、深度学习、机器学习等相关内容，分享学习过程中的学习笔记和心得！期待您的关注，欢迎一起学习交流进步！

  我们曾在线性代数里学过向量空间，它是由向量做成的集合。在这个集合里向量可以相加，向量可以乘以一个倍数，由此我们可以讨论向量的线性组合、向量的线性相关等概念。

线性空间的概念

线性空间

• 定义1.1：数域：一个对和、差、积、商运算都封闭的复数的非空集合 $P$称为数域。

• 定义1.2：设 $V$是一个非空的集合，如果在 $V$中定义二元运算（加法）,

  • 即 $V$中任意两个元素 $\alpha$, $\beta$经过这个运算结果仍是 $V$中的一个元素，这个元素称为 $\alpha$与 $\beta$的和，记 $\alpha + \beta$。
  • 在数域 $P$与 $V$之间定义一个运算叫作数量乘法，即对于 $P$中的任意数 $k$与 $V$中的任意一个元素 $\alpha$，经过这一运算的结果仍然是 $V$中的一个元素，称为 $k$与 $\alpha$的数量乘积，记 $k\alpha$。

  如果上述运算满足以下规则，则称 $V$为数域 $P$上的线性空间。 $V$中的元素也称为向量。

1. 对任意的 $\alpha$， $\beta$ $\in$ $V$，则称 $V$为数域 $P$上的线性空间， $V$中的元素也称为向量。
2. 对任意的 $\alpha$， $\beta$, $\gamma$， $\in$ $V$, $(\alpha + \beta) + \gamma = \alpha + (\beta + \gamma)$；
3. 在 $V$中存在一个零元素，记作 $0$，对任意的 $\alpha + 0 = \alpha$；
4. 对任意的 $\alpha \in V$，都有 $\alpha$的负元素，记作 $-\alpha$;
5. 对任意的 $\alpha \in V$，有 $1 \cdot \alpha = \alpha$;
6. 对任意的 $\alpha \in V$， $k,l \in P$， $k(l \alpha) = (kl)\alpha$;
7. 对任意的 $\alpha \in V$， $k,l \in P$， $(k+l)\alpha = k \alpha + l\alpha$
8. 对任意的 $k \in P$， $\alpha,\beta \in V$， $k(\alpha+\beta) = k \alpha + k\beta$

线性空间的例子，基底、坐标

• 定义1.3：(线性相关)在 $V$中有一组元素 $\alpha_{1}$， $\alpha_{2}$， $\cdots$， $\alpha_{n}$线性无关，且其他元素都可以被它们线性表达，则称 $\alpha_{1}$， $\alpha_{2}$， $\cdots$， $\alpha_{n}$为 $V$的一组基， $n$为空间 $V$的维数，记作 $dimV=n$，而表达式的系数是这个元素的坐标。

• 例题： 求 $P_{3}[t]$中多项式 $1+t+t^{2}$在基底1， $t-1$， $(t-2)(t-1)$下的坐标：

  解：

$1+t+t^{2} = k_{1} \times 1+k_{2} \times (t-1) + k_{3}(t-2)(t-1)$

  令其对应项相等即可。

基变换与坐标变换

  一般来说，一个元素在不同的基底下有不同的坐标，它们的坐标有什么关系呢？

  设 $V$是 $P$上的 $n$维线性空间， $\alpha_{1}$， $\alpha_{2}$， $\cdots$， $\alpha_{n}$和 $\beta_{1}$， $\beta_{2}$， $\cdots$， $\beta_{n}$是 $V$的两个不同的基底，因为 $\alpha_{1}$， $\alpha_{2}$， $\cdots$， $\alpha_{n}$是基底，所以 $\beta_{1}$， $\beta_{2}$， $\cdots$， $\beta_{n}$可以被这个基底线性表达，这两个基底的关系是：
$(\beta_{1}，\beta_{2}，\cdots，\beta_{n})$
$=(\alpha_{1}，\alpha_{2}，\cdots，\alpha_{n})A$

  利用过渡矩阵就可以得到这个元素的两个坐标之间的关系：
$\alpha=\left(\beta_{1}, \beta_{2}, \cdots, \beta_{n}\right)\left(\begin{array}{c}{l_{1}} \\ {l_{2}} \\ {\vdots} \\ {l_{n}}\end{array}\right)$
$=\left(\alpha_{1}, \alpha_{2}, \cdots, \alpha_{n}\right) A\left(\begin{array}{c}{l_{1}} \\ {l_{2}} \\ {\vdots} \\ {l_{n}}\end{array}\right)$
$=\left( \alpha_{1}, \alpha_{2}, \cdots, \alpha_{n}\right) \left(\begin{array}{c}{k_{1}} \\ {k_{2}} \\ {\vdots} \\ {k_{n}}\end{array} \right)$

$\left(\begin{array}{c}{k_{1}} \\ {k_{2}} \\ {\vdots} \\ {k_{2}}\end{array} \right)=A\left(\begin{array}{c}{l_{1}} \\ {l_{2}} \\ {\vdots} \\ {l_{n}}\end{array} \right)$

子空间和维数定理

子空间及生成方式

  我们知道三维线性空间 $R^{3}$的二维平面 $R^{2}$也是一个线性空间，这种类型的空间叫作子空间。

• 定义1.5：设 $V$是数域 $P$上的线性空间， $W$是 $V$的非空子集，如果 $W$对于线性空间 $V$所定义的加法运算及数乘运算也构成 $P$上的线性空间，则称 $W$为 $V$的线性子空间，简称子空间。

• 定理1.1：设 $W$是 $P$上的线性空间 $V$的非空子集，则 $W$是 $V$的线性子空间的充要条件是：
  1）：若 $\alpha，\beta \in W$，则 $\alpha + \beta \in W$；
  2）：若 $\alpha \in W$， $k \in P$，则 $k\alpha \in W$。
  $\{0\}$及 $V$本身也是 $V$的子空间，这两个子空间是 $V$的平凡子空间。

• 设 $\alpha_{1}$， $\alpha_{2}$， $\cdots$， $\alpha_{m}$是 $V$上的 $m$个元素，由这 $m$个元素的任意组合构成的集合 $\{k_{1}\alpha_{1}+\cdots+k_{m}\alpha_{m}\}$对 $V$中的加法及数乘封闭，因而这个子集是 $V$中的子空间。记作：

$L(\alpha_{1}，\alpha_{2}，\cdots，\alpha_{m})$

• 用原有的子空间生成新的子空间的方法：
  1）：设 $V_{1}$， $V_{2}$是 $V$的子空间，则 $V_{1} \cap V_{2}$是 $V$的子空间，叫做两个子空间的交子空间。
  2）：设 $V_{1}$， $V_{2}$是 $V$的子空间， $V_{1}+V_{2}$也是 $V$的子空间，这里：
  $V_{1}+V_{2}=\{\alpha_{1}+\alpha_{2}|\alpha_{1} \in V_{1}，\alpha_{2} \in V_{2}\}$

  这个子空间叫做 $V_{1}$和 $V_{2}$的和子空间。

维数定理

  由两个子空间 $V_{1}$， $V_{2}$生成的子空间的维数 $dim(V_{1}+V_{2})$, $dim(V_{1} \cap V_{2})$与原来的子空间的维数之间有一个关系，称之为维数定理，即：
$dimV_{1}+dimV_{2}$
$=dim(V_{1}+V_{2})+dim(V_{1} \cap V_{2})$

• 定理1.2： $V_{1}+V_{2}$是直和的充要条件是 $V_{1} \cap V_{2} = \{0\}$。

  这个几个概念比较重要，需要记住。

线性空间中的线性变换

• 定义1.6：设 $T$是 $V$上的变换，如果对于任意的 $\alpha$， $\beta \in V$及 $k \in P$都有：
  $T(\alpha + \beta)=T\alpha + T\beta$
  $T(k\alpha)=kT\alpha$

  则称 $T$为 $V$上的线性变换。线性变换保持 $V$上的运算。

  上面这个线性变换的公式需要记住，经常会考这个改变以及以下变种。比如下文的线性变换的矩阵的公式：

  由：

$(\varepsilon_{1}，\varepsilon_{2}，\varepsilon_{3} ) = (e_{1},e_{2},e_{3})C$

  能得到：

$T(\varepsilon_{1}，\varepsilon_{2}，\varepsilon_{3} ) = T(e_{1},e_{2},e_{3})C$

  这时如果知道：

$T(\varepsilon_{1}，\varepsilon_{2}，\varepsilon_{3} ) = (\varepsilon_{1}，\varepsilon_{2}，\varepsilon_{3} ) A$

  即可求出：

$T(e_{1},e_{2},e_{3}) = T(\varepsilon_{1}，\varepsilon_{2}，\varepsilon_{3} ) C^{-1}$

  等于：

$T(e_{1},e_{2},e_{3}) = (\varepsilon_{1}，\varepsilon_{2}，\varepsilon_{3} ) A C^{-1}$

  等于：

$T(e_{1},e_{2},e_{3}) = (e_{1},e_{2},e_{3})CA C^{-1}$

• 零变换及单位变换也是线性变换，零变换是把所有元素变成零的变换，单位变换是把每个元素映射成自己的变换。

• 线性变换作为一种运算也可以组合，如果 $T_{1}$， $T_{2}$是线性变换，则：

$(T_{1}+T_{2})\alpha =T_{1}\alpha+T_{2}\alpha_{}, \\ (kT_{1})\alpha=k(T_{1}\alpha)$

  可以证明，线性空间中的所有线性变换也做成一个线性空间，记作 $L(V)$

• 即用线性变换，定义的子空间，一个是像子空间，一个是核子空间。
  像： $TV=\{T\alpha|\alpha \in V\}$
  核： $T^{-1}(0)=kerT=\{\alpha|\alpha \in V,T\alpha=0\}$。

  像子空间是由 $V$中所有元素的像构成的，即任取 $\beta \in TV$，则一定存在 $\alpha \in V$，使得 $\beta=T\alpha$。

  核子空间是由所有 $\alpha$中的一些元素构成的，这些元素在线性变换的作用下是零。

• 定理1.3（维数定理）：设 $T$是 $n$维空间上的线性变换，则
  $dimTV+dimT^{-1}(0)=n$

线性变换的矩阵

   $V$上的所有线性变换构成的子空间是一个比较抽象的空间，我们知道一些具体的线性变换，但是任意一个线性变换是什么样子的，怎么表达呢？

  设 $\alpha \in V$，

$\alpha = \sum_{i=1}^{n} k_{i}\alpha_{i}=\left( \alpha_{1}, \alpha_{2}, \cdots, \alpha_{n}\right) \left(\begin{array}{c}{k_{1}} \\ {k_{2}} \\ {\vdots} \\ {k_{n}}\end{array} \right)$

$T\alpha=\left( T \alpha_{1},T \alpha_{2}, \cdots, T \alpha_{n}\right) \left(\begin{array}{c}{k_{1}} \\ {k_{2}} \\ {\vdots} \\ {k_{n}}\end{array} \right)$
$=\sum_{i=1}^{n} k_{i}T\alpha_{i}$

  可以看出，决定线性变换结果的是：

$T\alpha_{1}，T\alpha_{2} \cdots ,T\alpha_{n}$

  即基底在这个线性变换之下变成了什么形式。

  因为 $T\alpha_{1}，T\alpha_{2} \cdots ,T\alpha_{n}$，仍然是 $V$中的元素，当然可以被 $V$的基底表达：

$\left\{\begin{array}{l}{T \boldsymbol{\alpha}_{1}=a_{11} \boldsymbol{\alpha}_{1}+\cdots+a_{n 1} \boldsymbol{\alpha}_{n}} \\ {T \boldsymbol{\alpha}_{2}=a_{12} \boldsymbol{\alpha}_{1}+\cdots+\boldsymbol{\alpha}_{n 2} \boldsymbol{\alpha}_{n}} \\ {\vdots} \\ {T \boldsymbol{\alpha}_{n}=a_{1 n} \boldsymbol{\alpha}_{1}+\cdots+a_{n n} \boldsymbol{\alpha}_{n}}\end{array}\right.$

   $A=(a_{ij})_{n\times n}$为线性变换 $T$在基底 $\alpha_{1}，\cdots，\alpha_{n}$下的矩阵。

  可见每一个线性变换实际上与一个矩阵相对应，反过来，每一个矩阵也对应一个线性变换，即给定一个矩阵 $A$,只要定义：
$\left( T \alpha_{1},T \alpha_{2}, \cdots, T \alpha_{n}\right)=(\alpha_{1}，\alpha_{2}，\cdots，\alpha_{n})A$
  则这个矩阵对应一个线性变换。