现代通信原理14.1：正交向量空间与正交信号空间

1、向量空间

1.1 向量空间的概念

  在线性代数中，我们学习了向量与向量空间。下面我们结合网上一些资料（例如https://blog.csdn.net/shinian1987/article/details/82529853等博客，百度百科等），对其进行简单回顾。

向量（或称为矢量），是具有大小和方向的量。它可以形象化地表示为带箭头的线段。箭头所指：代表向量的方向；线段长度：代表向量的大小。

  下面我们来看向量的两种基本运算，即向量加法以及向量与标量相乘。

向量加法就是向量里的每一个分量对应相加，比如两个维度为 $n$的向量$\mathbf{u}=[u_1,u_2,\cdot ,u_n]$和$\mathbf{v}=[v_1,v_2,\cdot ,v_n]$相加，可以得到
$$\mathbf{u}+\mathbf{v}=[u_1+v_1,u_2+v_2,\dots ,u_n+v_n]$$向量与标量相乘，则为向量里的每一个分量与该标量相乘， 例如维度为 $n$的向量$\mathbf{u}$与标量$k$ 相乘，可以得到：
$$k\mathbf{u}=[k{u}_1,k{u}_2,\dots ,k{u}_n].$$

  现在我们来看向量空间。在现实世界里，三维空间就是我们非常熟悉的一个空间，从数学上说，这是一个三维的欧几里德空间。我们不难发现，这个三维空间具有如下特点

• 由很多（实际上是无穷多个）位置点组成；
• 这些点之间存在相对的关系；
• 可以在空间中定义长度、角度；
• 这个空间可以容纳运动，即从一个点到另一个点的移动（变换）。

因此，我们可以把向量看成是空间中的一个点，而向量的变换就是这个点在空间中的运动。所以说，向量空间就是一个集合，这个集合对向量的加法和数乘是封闭的。这意味着，这个空间内的向量，只要按照加法和数乘的方式运动，就会一直在这个空间里。所以，对加法和数乘运算封闭的向量空间也称为线性空间。

1.2 向量的内积

  对于两个$n$维向量$\mathbf{a}=[a_1,a_2,\dots ,a_n{]}^{\mathrm{T}}$和$\mathbf{b}=[b_1,b_2,\dots ,b_n{]}^{\mathrm{T}}$，我们定义其内积（也称点乘）为
$$\begin{array}{r}\mathbf{a}\cdot \mathbf{b}=⟨\mathbf{a},\mathbf{b}⟩=a_1{b}_1+a_2{b}_2+\dots +a_n{b}_n=\sum _{i=1}^n{a}_i{b}_i,\end{array}\text{\hspace{1em}(1)}$$注意两个向量的内积为一个标量。

下面我们来看看向量内积的物理意义。定义向量$\mathbf{c}=\mathbf{a}-\mathbf{b}$，则有
$$\begin{array}{r}{\mathbf{c}}^2=(\mathbf{a}-\mathbf{b}{)}^2={\mathbf{a}}^2+{\mathbf{b}}^2-2\mathbf{a}\cdot \mathbf{b}\end{array}$$进一步，根据余弦定理，我们可以得到
$$\begin{array}{r}{\mathbf{c}}^2={\mathbf{a}}^2+{\mathbf{b}}^2-2|\mathbf{a}||\mathbf{b}|\cos \theta ,\end{array}$$故有$\mathbf{a}\cdot \mathbf{b}=|\mathbf{a}||\mathbf{b}|\cos \theta$，这里$\theta$为向量$\mathbf{a}$和$\mathbf{b}$的夹角。

图1为$n=2$时两个向量点乘的示意图，从图中我们不难看出，两个向量的内积$\mathbf{a}\cdot \mathbf{b}$，可以看成向量$\mathbf{b}$在向量$\mathbf{a}$方向上的投影（$a_0=|\mathbf{b}|\cos \theta$），与向量$\mathbf{a}$在$\mathbf{a}$方向上的乘积。

图1 二维平面上两个向量内积示意图

1.3 向量的范数

  向量$\mathbf{a}$的范数记为$\Vert \mathbf{a}\Vert$，定义为
$$\Vert \mathbf{a}\Vert =(\mathbf{a}\cdot \mathbf{a}{)}^{\frac{1}{2}}=\sqrt{\sum _{i=1}^n{a}_i^2}.\text{\hspace{1em}(2)}$$不难看出，向量的范数为其长度。

1.4 标准正交向量组

  若向量$\mathbf{a}$与$\mathbf{b}$的夹角$\cos \theta =90°$，显然有$\mathbf{a}\cdot \mathbf{b}=0$，我们称向量$\mathbf{a}$与$\mathbf{b}$正交。进一步，若$|\mathbf{a}|=|\mathbf{b}|=1$，则称向量$\mathbf{a}$与$\mathbf{b}$标准正交，此时向量$\mathbf{a}$和$\mathbf{b}$正交且其范数（长度）均为单位1。
  若有$N$个$n$维向量${\mathbf{e}}_i$，$i=1,2,\dots ,n$，满足
$${\mathbf{e}}_i\cdot {\mathbf{e}}_j=\{\begin{array}{r}1,j=k\\ 0,j\ne k\end{array}\text{\hspace{1em}(3)}$$则称 { e i ,   i = 1 , 2 , … , N } \{ {\bf e}_i,\ i=1,2,\ldots,N\} { ei​, i=1,2,…,N}为标准（归一化）正交向量组。

1.5 Gram-Schmidt正交化

  下面我们讨论如何将一组$n$维向量 { v i ,   i = 1 , 2 , … , m } \{ {\bf v}_i,\ i=1,2,\ldots,m\} { vi​, i=1,2,…,m}，构造成标准正交向量。

• 第一步，从这组向量中任意选择一个向量，例如${\mathbf{v}}_1$，对它的长度归一化，可以得到第一个向量，即
  $${\mathbf{u}}_1=\frac{{\mathbf{v}}_1}{\Vert {\mathbf{v}}_1\Vert }$$
• 第二步，选择${\mathbf{v}}_2$，先减去${\mathbf{v}}_2$在${\mathbf{u}}_1$上的投影，剩下与${\mathbf{u}}_1$正交的成分，得到
  $${{\mathbf{u}}_2}^{\prime }={\mathbf{v}}_2-({\mathbf{v}}_2\cdot {\mathbf{u}}_1){\mathbf{u}}_1,$$注意这里${\mathbf{v}}_2\cdot {\mathbf{u}}_1$是个标量，表示${\mathbf{v}}_2$投影到${\mathbf{u}}_1$上的长度，${\mathbf{u}}_1$是单位长度向量。进一步，我们将${\mathbf{u}}_2^{\prime }$归一化，有
  $${\mathbf{u}}_2=\frac{{\mathbf{u}}_2^{\prime }}{\Vert {\mathbf{u}}_2^{\prime }\Vert }.$$
• 第三步，继续上述过程，选择${\mathbf{v}}_3$并减去其在${\mathbf{u}}_1,{\mathbf{u}}_2$上的投影，从而得到
  $${{\mathbf{u}}_3}^{\prime }={\mathbf{v}}_3-({\mathbf{v}}_3\cdot {\mathbf{u}}_1){\mathbf{u}}_1-({\mathbf{v}}_3\cdot {\mathbf{u}}_2){\mathbf{u}}_2,$$以及
  $${\mathbf{u}}_3=\frac{{\mathbf{u}}_3^{\prime }}{\Vert {\mathbf{u}}_3^{\prime }\Vert }.$$将这个过程持续下去，就可以得到一组$n_1$个标准正交向量，一般来说$n_1\le n$。

1.6 向量的正交表示

  若有包含$N$个向量的标准正交向量组 { e i ,   i = 1 , 2 , … , N } \{ {\bf e}_i,\ i=1,2,\ldots,N\} { ei​, i=1,2,…,N}形成一个完备的坐标系统，则该系统中任一向量$\mathbf{v}$等于它在$N$个坐标轴上的分向量的几何和
$$\mathbf{v}=\sum _{i=1}^N{v}_i{\mathbf{e}}_i,\text{\hspace{1em}(4)}$$其中$v_i=\mathbf{v}\cdot {\mathbf{e}}_i$是$\mathbf{v}$在单位向量${\mathbf{e}}_i$上的投影。

2、信号空间

  下面我们把向量空间的概念推广到信号空间上，这样可以简化信号的处理与分析。

2.1 信号的能量

  实确定能量信号$s(t)$的能量为
$$E_s={\int }_{-\infty }^{\infty }{s}^2(t)dt\text{\hspace{1em}(5)}$$

2.2 信号的内积

  我们定义实能量信号$s_1(t)$和$s_2(t)$的内积为
$$⟨s_1(t),s_2(t)⟩={\int }_{-\infty }^{\infty }{s}_1(t)s_2(t)dt,\text{\hspace{1em}(6)}$$如果它们的内积为零，我们则称它们为相互正交。

2.3 信号的范数

  我们定义实能量信号$s(t)$的范数为
$$\Vert s(t)\Vert =\sqrt{{\int }_{-\infty }^{\infty }{s}^2(t)dt}=\sqrt{E_s}.\text{\hspace{1em}(7)}$$

2.4 信号的相关系数

  为了表征两个信号间的相似性，我们定义实能量信号$s_1(t)$和$s_2(t)$的相关系数为
$${\rho }_{12}=\frac{⟨s_1(t),s_2(t)⟩}{\Vert s_1(t)\Vert \Vert s_2(t)\Vert }.\text{\hspace{1em}(8)}$$显然，信号与其自身相关系数最大，为1；若两个信号正交，则相关系数为0。

2.5 信号的正交展开

  下面我们讨论信号波形的向量表示法。对于确定实能量信号$s(t)$，假定存在一个标准正交函数集 { f n ( t ) , n = 1 , 2 , … N } \{f_n(t),n=1,2,\ldots N\} { fn​(t),n=1,2,…N}，满足
$${\int }_{-\infty }^{\infty }{f}_n(t)f_m(t)dt=\{\begin{array}{r}1,m=n\\ 0,m\ne n\end{array},\text{\hspace{1em}(9)}$$则可以用这$N$个标准正交函数的线性组合来近似表示信号$s(t)$，即
$$\hat{s}(t)=\sum _{n=1}^N{s}_n{f}_n(t).\text{\hspace{1em}(10)}$$因此，我们可以得到近似误差为
$$e(t)=s(t)-\hat{s}(t)，$$显然，近似误差的能量为
$$E_e={\int }_{-\infty }^{\infty }{e}^2(t)dt={\int }_{-\infty }^{\infty }[s(t)-\hat{s}(t){]}^{2}dt={\int }_{-\infty }^{\infty }[s(t)-\sum _{n=1}^N{s}_n{f}_n(t){]}^{2}dt.\text{\hspace{1em}(11)}$$下面我们以最小化近似误差能量为目标，优化$\hat{s}(t)$近似的系数$s_n,n=1,2,\dots ,N$，即
$$\underset{s_n}{\min }{E}_e={\int }_{-\infty }^{\infty }[s(t)-\sum _{n=1}^N{s}_n{f}_n(t){]}^{2}dt,n=1,2,\dots ,N.\text{\hspace{1em}(12)}$$我们将$E_e$对$N$个系数求偏导，并置导数为0，就可以求得最优系数。由此我们得到$N$个等式
$$\frac{\partial E_e}{\partial s_i}=0,i=1,2,\dots ,N\text{\hspace{1em}(13)}$$进一步，我们有
$$\begin{array}{rl}& \frac{\partial E_e}{\partial s_i}\\ =& \frac{\partial }{\partial s_i}{\int }_{-\infty }^{\infty }{s}^2(t)dt+\frac{\partial }{\partial s_i}{\int }_{-\infty }^{\infty }[\sum _{n=1}^N{s}_n{f}_n(t){]}^{2}dt-2\frac{\partial }{\partial s_i}\sum _{n=1}^N{s}_n{\int }_{-\infty }^{\infty }s(t)f_n(t)dt\end{array}\text{\hspace{1em}(14)}$$上式中的第一项显然为0，第二项为
$$\begin{array}{rl}& \frac{\partial }{\partial s_i}{\int }_{-\infty }^{\infty }[\sum _{n=1}^N{s}_n{f}_n(t){]}^{2}dt\\ =& \frac{\partial }{\partial s_i}\sum _{m=1}^N\sum _{n=1}^N{s}_m{s}_n{\int }_{-\infty }^{\infty }{f}_m(t)f_n(t)dt\\ =& \frac{\partial }{\partial s_i}\sum _{n=1}^N{s}_n^2{\int }_{-\infty }^{\infty }{f}_n^2(t)dt\\ =& \frac{\partial }{\partial s_i}\sum _{n=1}^N{s}_n^2=2s_i,\end{array}\text{\hspace{1em}(15)}$$而第三项为
$$-2\frac{\partial }{\partial s_i}\sum _{n=1}^N{s}_n{\int }_{-\infty }^{\infty }s(t)f_n(t)dt=-2s_i{\int }_{-\infty }^{\infty }s(t)f_i(t)dt.\text{\hspace{1em}(15)}$$将(14)、(15)带入(13)，可以得到近似误差能量最小时的最优系数为
$$s_{n,\mathrm{o}\mathrm{p}\mathrm{t}}={\int }_{-\infty }^{\infty }s(t)f_n(t)dt,i=1,2,\dots ,N.\text{\hspace{1em}(16)}$$这意味着，将$s(t)$投影到$f_n(t)$，就可以得到最优系数$s_n$，因此$\hat{s}(t)$是函数$s(t)$投影到 { f n ( t ) , n = 1 , 2 , … , N } \{f_n(t),n=1,2,\ldots,N\} { fn​(t),n=1,2,…,N}张成的$N$维信号空间上的投影，此时的近似误差能量为
$$\begin{array}{rl}{E}_{e,\min }& ={\int }_{-\infty }^{\infty }{s}^2(t)dt+\sum _{n=1}^N{s}_{n,\mathrm{o}\mathrm{p}\mathrm{t}}^2-2\sum _{n=1}^N{s}_{n,\mathrm{o}\mathrm{p}\mathrm{t}}{\int }_{-\infty }^{\infty }s(t)f_n(t)dt\\ & =E_s^2-\sum _{n=1}^N{s}_{n,\mathrm{o}\mathrm{p}\mathrm{t}}^2\end{array}\text{\hspace{1em}(17)}$$当近似误差能量$E_{e,\min }=0$时，我们有
$$\begin{array}{r}{E}_s^2=\sum _{n=1}^N{s}_{n,\mathrm{o}\mathrm{p}\mathrm{t}}^2.\end{array}\text{\hspace{1em}(18)}$$这意味着，当$E_{e,\min }=0$时，
$$s(t)=\hat{s}(t)=\sum _{n=1}^N{s}_n{f}_n(t)\text{\hspace{1em}(19)}$$成立。若能量信号可以用(19)表示且$E_{e,\min }=0$，我们称标准正交函数集 { f n ( t ) ,   n = 1 , 2 , … , N } \{f_n(t),\ n=1,2,\ldots, N\} { fn​(t), n=1,2,…,N}是完备的。

【小结】若标准正交函数集 { f n ( t ) ,   n = 1 , 2 , … , N } \{f_n(t),\ n=1,2,\ldots, N\} { fn​(t), n=1,2,…,N}是完备的，能量信号$s(t)$可以表示为
$$s(t)=\sum _{n=1}^N{s}_n{f}_n(t),$$其中，$s_n={\int }_{-\infty }^{\infty }s(t)f_n(t)$为$s(t)$在$f_n(t)$上的投影。

2.6 信号的向量表示

  根据上面的讨论，如果对于信号$s(t)$，有完备的标准正交函数集 { f n ( t ) ,   n = 1 , 2 , … , N } \{f_n(t),\ n=1,2,\ldots, N\} { fn​(t), n=1,2,…,N}，则可以用 { f n ( t ) ,   n = 1 , 2 , … , N } \{f_n(t),\ n=1,2,\ldots, N\} { fn​(t), n=1,2,…,N} 来张成$N$维信号空间。将信号$s(t)$映射到函数$f_n(t)$上，可以得到$s_n={\int }_{-\infty }^{\infty }s(t)f_n(t)$，因此得到信号$s(t)$的向量表示为
$$\mathbf{s}=[s_1,s_2,\cdots ,s_N].$$这样信号间的运算，就可以变为向量间的运算。如(5)~(8)，均可以用向量形式表示如下：

• 信号内积
  $$⟨s_1(t),s_2(t)⟩=⟨{\mathbf{s}}_1,{\mathbf{s}}_2⟩=\sum _{n=1}^N{s}_{1,n}{s}_{2,n}$$
• 信号能量
  $$E_s=⟨\mathbf{s},\mathbf{s}⟩=\sum _{n=1}^N{s}_n^2=|\mathbf{s}{|}^2$$
• 信号范数
  $$\Vert s(t)\Vert =\sqrt{E_s}=\sqrt{\sum _{n=1}^N{s}_n^2}=|\mathbf{s}|\text{\hspace{1em}(7)}$$
• 相关系数

$${\rho }_{12}=\frac{⟨{\mathbf{s}}_1,{\mathbf{s}}_2⟩}{\sqrt{E_{s1}{E}_{s2}}}=\frac{⟨{\mathbf{s}}_1,{\mathbf{s}}_2⟩}{|{\mathbf{s}}_1||{\mathbf{s}}_2|}$$
进一步，我们定义两个实能量信号$s_1(t)$和$s_2(t)$之间的欧式距离为
$$d_{12}=\sqrt{{\int }_{-\infty }^{\infty }[s_1(t)-s_2(t){]}^{2}dt}=\sqrt{E_{s1}+E_{s2}-2\sqrt{E_{s1}{E}_{s2}}{\rho }_{12}}\text{\hspace{1em}(8)}$$也就是信号空间中两个向量${\mathbf{s}}_1$与${\mathbf{s}}_2$间的距离，即
$$d_{12}=|{\mathbf{s}}_1-{\mathbf{s}}_2|.$$若$E_{s1}=E_{s2}=E_s$，则有
$$d_{12}=\sqrt{2E_s(1-{\rho }_{12})}.$$