MIT 线性代数导论 第十七讲：正交矩阵和Graham-Shcimidt正交化

本讲的主要内容：

• 正交向量组以及正交基的概念
• 正交矩阵
• Graham-Schimidt正交化的方法

正交向量组、正交基以及正交矩阵

再上一讲中，讲到了正交的概念，如果有一系列向量 $q_{1},q_{2},...q_{n}$， 两两正交，那么这一组向量就是一个正交向量组，对于 $n$ 维空间的 $n$个正交向量（当然， $n$ 维空间也只有最多 $n$个正交向量）那么这 $n$ 个正交向量就构成了这个空间的一组基，称为 正交基，如果在这个基础上，保证每个向量都是单位向量，则称为 规范正交基，如果我们将这些正交向量写成矩阵的形式，即 $Q=(q_{1},q_{2},...q_{n})$ ，那么这个方阵称为正交矩阵，注意这里必须是方阵，才可以称为正交矩阵，同时，我们可以推导出这样的结论: $Q^{T}Q = I$（如果我们展开矩阵乘一下，结论其实非常明显），总结下来，正交矩阵有三个条件：

• 矩阵为方阵
• 矩阵的列向量均为单位向量
• 转置矩阵与矩阵的乘积是单位阵

举几个例子：
$\begin{pmatrix} 1 &0 &0 \\ 0 & 1 & 0\\ 0 & 0 &1 \end{pmatrix}、\begin{pmatrix} sin\theta & -cos\theta \\ cos\theta0 & sin\theta \end{pmatrix}、\frac{1}{\sqrt{2}}\begin{pmatrix} 1 & -1\\ 1 & 1 \end{pmatrix}$
以上这些矩阵都是正交矩阵，正交矩阵一般简记为 $Q$。

那么我们使用正交矩阵的目的是什么呢？
如果在计算中使用正交阵，可以简化很多地方的计算，例如，对于投影操作来说，我们之前有投影矩阵：
$P=A(A^{T}A)^{-1}A^{T}$
如果这个矩阵是正交矩阵：
$P=Q(Q^{T}Q)^{-1}Q^{T} = QQ^{T} = I$
我们之前的最小二乘的方程：
$A^{T}A\hat{x} = A^{T}b\\ \Rightarrow Q^{T}Qx = Q^{T}b \\ \Rightarrow \hat{x} = Q^{T}b$
形式上，都变得简洁了。

Graham-Schimidt正交化

接下来讨论如何由一组向量获得正交的向量组，也就是正交化的问题：
对于两个无关的向量 $a$， $b$，如何将其正交化呢？这里借助之前讲到的投影的概念会很好理解：

之前再投影的学习过程中，我们关注的投影到向量 $a$ 上的部分 $p$ ，现在对于正交来说，如果保持 $a$ 不变，那么我们则是需要把关心 $b$ 再垂直于 $a$ 的方向上的分量，也就是 $e$ ，这个向量在之前被称作误差，设两个向量正交之后的向量为 $A$ 、 $B$,则根据之前图中的关系，可以知道，我们假定 $a$ 是不会变的，也就是：
$A = a$
对于 $b$ 处理：
$B = b - \frac{A^{T}b}{A^{T}A}A$
这个式子也就是上面图中的关系： $e = b - p$。
这样得到的 $A$和 $B$ 则是正交的了， 我们可以使用正交的概念进行验证。
如果我们将这个结论推广到更多的矩阵中，例如，三个向量的时候，前两个向量显然是一样的过程，对于地三个向量，计算过程其实原理是一样的，分别减去对前两个向量的分量即可：
$C = c-\frac{A^{T}c}{A^{T}A}A - \frac{B^{T}c}{B^{T}B}B$

上面的过程找个题目练习就好。

以上~