MIT_Linear_Algebra_lec16: 投影矩阵和最小二乘

Lecture 16: Projection Matrix and Least Square

MIT 公开课：Gilbert Strang《线性代数》课程笔记（汇总

---

投影矩阵

据前几讲, $Pb = p, b = p + e$

• 其中 $P$是投影矩阵， $b$是需要投影到列空间的向量， $p$是投影到列空间的向量。

容易得到， $p∈A$的列空间， $A$的零空间 $⊥$A的列空间

• 若 $Pb⊥A$的列空间，则 $Pb = 0$
• 若 $Pb$在A的列空间中，则 $Pb = b$

最小二乘/线性回归

我们需要线性拟合一组数据，
a(x,y):
a1(1,1), a2(2,2) , a3(3,2)

在二维平面中，找到最优直线表达这组数据。

数学表示

• 如果直线 $f(t) = C + Dt$ 能同时穿过三个点，那么误差就是零了。 $\left\{\begin{array}{cc} C + D = 1 \\ C + 2D = 2 \\ C + 3D = 2 \\ \end{array}\right.$
  也就是上式得有解，但是很可惜无解，就相当于 最右边一列 b 不在前两列组成的 列空间 A 中。那么我们只能 b 投影到 A 中。

• 退而，找到 $f(t) = C + Dt$， $s.t$ $minΣ(y - f(t))^2$

• 误差 = $(C + D - 1)^2 + (C + 2D - 2)^2 + (C + 3D - 2)^2 = e_1^2 + e_2^2 + e_3^2 = ||Ax - b||^2$
  ---- 求偏导 得到 $A^TAx = A^Tb$, 解得x即为系数C，D

• 由前几讲， 解方程组和求投影矩阵，投影分量x一样，也可得 $A^TAx = A^Tb$ 中的 x = [C D] 。 ---- 解方程

最小二乘前提

• A 各列线性无关，因为这样 $AA^T$可逆，上面的方程才有解

• 那么为什么A各列线性无关， $AA^T$可逆呢？

  $A$ 和 $AA^T$ 的零空间是一样的, 秩也一样