笔记：宾大《Algebra, Topology, Differential Calculus, and Optimization Theory For CS and ML》——第三章第九节

3.9 线性形式和对偶空间

定义3.26 对于一个给定的向量空间 $E$ ，线性映射 $E \rarr K$ 对应的向量空间 $Hom(E,K)$ 被称为 $E$ 的对偶空间（dual space），可以表示为 $E^*$ ，同时在 $E^*$ 中的线性映射被称为线性形式（linear forms）或者余向量（covectors）。 $E^*$ 对应的对偶空间 $E^{**}$ 被称为 $E$ 的二次对偶（bidual）。

我们也可以将线性形式 $f:E \rarr K$ 用星号表示，即 $u^*,x^*$ 等。

如果 $E$ 是一个 $n$ 维的向量空间，且其基为 $(u_1,..,u_n)$ ，对于任意的线性形式 $f^* \in E^*$ ，对于任意的线性组合 $x=x_1u_1+…+x_nu_n \in E$ ，我们有
$f^*(x)=f^*(u_1)x_1+...+f^*(u_n)x_n=\lambda_1x_1+...+\lambda_nx_n$
因此，关于基 $(u_1,…u_n)$ 线性组合 $f^*$ 可以用行向量表示
$（\lambda_1...\lambda_n）$
所以我们有
$f^*(x)=（\lambda_1...\lambda_n）\left( \begin{matrix} x_1\\ \vdots \\ x_n \end{matrix} \right)$
我们可以将线性组合 $f^*$ 视为线性等式，我们可以用一个列向量表达系数，即
$c=\left( \begin{matrix} c_1\\ \vdots \\ c_n \end{matrix} \right)$
所以我们可以将上面的线性组合 $f^*$ 表达为
$f^*(x)=c^Tx$
这种表达方式也就是我们在机器学习中常见的表达方式，下面是例子：

例子1 对于任意的可微函数 $f:\R^n \rarr \R$ ，对于任意的 $x \in \R^n$ ，其对应的在 $x$ 处的导数（derivation） $df_x$ 可以用上面的线性形式表示，即对于所有的 $u=(u_1,…u_n)$：
$df_x（u）=(\frac{\partial f}{\partial x_1}(x)...\frac{\partial f}{\partial x_n}(x))\left( \begin{matrix} u_1\\ \vdots \\ u_n \end{matrix} \right)= \sum_{i=1}^n\frac{\partial f}{\partial x_i}(x)u_i$
所以给出一个向量空间 $E$ 和其任意的基 $(u_i)_{i \in I}$ ，我们都可以联系到每一个 $u_i$ 对应的线性形式。并且这些 $u_i^*$ 有一些性质。

例子2 在 $C([0,1])$ 这个向量空间中定义一个连续的函数 $f:[0,1] \rarr \R$ ，其对应的映射 $L:C([0,1]) \rarr \R$ 定义如下：对于任意的 $f \in C[0,1]$
$L(f)=\int^1_0{f(x)}{\rm d}x$
其为一个线性形式，由于其为连续的，所以其也就是积分的形式。

例子3 考虑一个实数矩阵 $n \times n$ 对应的向量空间 $M_n(\R)$ ，设一个函数为 $tr:M_n(\R) \rarr \R$ ，具体的定义为
$tr(A) = a_{11}+a_{22}+...+a_{nn}$
这个表达被称为矩阵 $A$ 的迹（trace），其也是一个线性形式。为了更清楚的表示其线性形式，我们将其写为
$s(A) = \sum_{i,j=1}^na{ij}$
其中 $A=(a_{ij})$ 。

定义3.27 对于一个线性空间 $E$ 和其对应的基 $(u_i)_{i \in I}$ ，对于每一个 $i \in I$ 都有唯一的线性形式 $u_i^*$ ，其形式为：
$u_i^*(u_j)=\left\{\begin{array}{cc} 1, & if\ i = j\\ 0, & if\ i \ne j \end{array}\right.$
这种线性形式 $u_i^*$ 被称为关于索引 $i$ 的坐标形式（coordinate form），可以写为基 $(u_i)_{i \in I}$ 。

Note：对于一个索引集 $I$ ，我们通常定义其为“Kronecker symbo”，即 $\delta_{ij}$
$\delta_{ij}=\left\{\begin{array}{cc} 1, & if\ i = j\\ 0, & if\ i \ne j \end{array}\right.$
即 $u_i^*$ 是在坐标系中的第 $i$ 个坐标对应的线性函数。

定理3.20 （对偶基的存在性定理）令 $E$ 为一个 $n$ 维的向量空间，那么有以下的性质：对于每一个 $E$ 的基 $(u_1,…,u_n)$ ，坐标形式的 $E^*$ 的基 $(u_1^*,…,u_N^*)$ 被称为 $(u_1,…,u_n)$ 的对偶基。

特别地，我们也可以看出对于一个有限维度的向量空间，其对偶空间 $E^*$ 拥有和原向量空间 $E$ 相同的维度。

预告

3.10 第三章知识和定义的总结