奇异 正定？

线性代数中经常看到这两个词，矩阵是奇异的singular，非奇异的nonsingular，矩阵是正定的positive definite，半正定的positivesemi-definite。
一段时间不看后，再看到这两个词我又是一脸懵。今天把他们记下来，不要再忘了。

singular奇异

先不记录他们的定义，先从最根本的 $Ax=b$说起。
给一个 $m*n$的矩阵 $A$，看跟 $A$相关的四个子空间。（对这个图不了解的去看看Gibert Strang的Introduction to Linear Algebra，强推！）

如果 $A$可逆， $x=A^{-1}b$，也就是对 $R^m$空间中的任何一个向量 $b$都可以找到一个 $R^n$空间中的一个对应的向量。看上面的图 $R(A)$和 $C(A)$是一一对应的，但如果从 $N(A^T)$中取， $R^n$中就没有对应的值。所以 $A$可逆，就要 $m-r=0$；如果 $b$取 $0$，那 $x$对应就是 $N(A)$空间中的所有值， $x=A^{-1}b=0$，所以要 $N(A)$空间只有 $0$，也就是 $n-r=0$。也就是下图这样：

A is singular，unsingular都是针对方阵的
A is unsingular if A is full rank 非奇异 满秩

---

正定

正定不正定就要从特征值eigenvalue，特征向量eigenvector说起了。
$Ax=\lambda x$
特征值是这样求的 $|A-\lambda I|=0$，这是一个关于 $\lambda$的 $n$次方程。他一定有n个解，但不一定全是实数，可能里面有复数。
好，这里有一个特殊的情况，那就是对称矩阵，他有n个实数解，他可以表示为 $S=Q\Lambda Q^T$。
这里又有一个特殊情况， $\Lambda > 0$，所有的特征值都是正数，这就是正定矩阵； $\Lambda \ge 0$，所有的特征值都是非负数，这就是半正定矩阵。