定义：任意$A=A_{m \times n}$，方程$AX=b$可产生新方程$A^HAX=A^Hb$，叫$AX=b$的正规方程。
引理：正规方程组$A^HAX=A^Hb$一定有解（相容），且有特解$X_0=A^+b$(使$A^HAX=A^Hb$)
证明：
\[{A^H}A{X_0} = {A^H}A{A^ + }{X_0} = {A^H}{(A{A^ + })^H}{X_0} = {(A{A^ + }A)^H}{X_0} = {A^H}{X_0}\]
注：$A^HAX=A^Hb$有下面通解公式，$rank(A)=r$：
\[X = {X_0} + ({k_1}{Y_1} + ... + {k_{n - r}}{Y_{n - r}})\]
其中$X_0=A^+b$，$Y=k_1Y_1+...+k_{n-r}Y_{n-r}$
定义：任意$A=A_{m \times n}$可产生2个子空间
(1)$N(A)={X | AX=0, X \in C^n} \subset C^n$，称为A的核空间
(2)$N(A)={AX | X \in C^n} \subset C^m$，称为A的像空间又称为值域
定理：
(1)$(A^+A)^2=A^+A$
(2)$(A+A)^2=A^+A$
(3)$AA^+ \ge 0$和$A^+A \ge 0$
引理：若$AX=b$有解，则必有特解：$X_0=A^+b$
证明：设$X_1$为$AX=b$的任意解，$AX_1=b$，把$X_0=A^+b$代入方程：
\[A{X_0} = A({A^ + }b) = A({A^ + }A{X_1}) = A{A^ + }A{X_1} = A{X_1} = b\]
正交引理：
(1)任意$A=A_{m \times n} \in C^{m \times n}, b \in C^{m}$，$X_0=A^+b \subset C^n$，则$X_0 \bot N(A))$
证明：
\[(X,{X_0}) = X_0^HX = {({A^ + }b)^H}X = {({A^ + }A{A^ + }b)^H}X = {({A^ + }b)^H}{({A^ + }A)^H}X = {({A^ + }b)^H}{A^ + }(AX) = 0\]
(2)任意$A=A_{m \times n} \in C^{m \times n}, b \in C^{m}$，$X_0=A^+b \subset C^n$，则$(A{X_0} - b) \bot R(A)$
证明：
\[(A{X_0} - b,AX) = {(AX)^H}(A{X_0} - b) = {X^H}{A^H}(A{X_0} - b) = {X^H}({A^H}A{X_0} - {A^H}b) = 0\]
定义：
(1)若$AX=b$无解，则称$AX=b$为不相容方程。
(2)若$AX=b$有解，则称$AX=b$为相容方程。
定理：$\min ({\left| {AX - b} \right|^2}) = A{X_0} - b$，$X_0=AX_0-b$为最小值点
证明：
\[{\left| {AX - b} \right|^2} = {\left| {AX - A{X_0} + A{X_0} - b} \right|^2} = {\left| {A(X - {X_0})} \right|^2} + {\left| {A{X_0} - b} \right|^2} \ge {\left| {A{X_0} - b} \right|^2}\]
定理：若$AX=b$不相容，$X_0=A^+b$是一个最小二乘解，其他最小二乘解X适合条件$AX=AX_9 \Leftrightarrow A(X-X_0)=0$，通解为：
\[X - {X_0} = {t_1}{Y_1} + {t_2}{Y_2} + ... + {t_{n - r}}{Y_{n - r}} \Rightarrow X = {t_1}{Y_1} + {t_2}{Y_2} + ... + {t_{n - r}}{Y_{n - r}} + {X_0}\]
定理：若AX=b不相容，则$X_0=A^+b$恰是全体最小二乘解中的最小长度（2范数）解，被称为极小范数解。
\[{\left| X \right|^2} = {\left| {{X_0} + Y} \right|^2} = {\left| {{X_0}} \right|^2} + {\left| Y \right|^2} \ge {\left| {{X_0}} \right|^2}\]
定理：若$A=A_{m \times n}$与$X=X_{m \times n}$适合条件：$(1)AXA=A$，称X为A的一个减号逆或1号逆，记为$X=A^-$或$X=A^{(1)}$
定理：减号逆矩不唯一
求解$A^-$
(1)
\[A = {\left[ {\begin{array}{*{20}{c}}
{{I_r}}&0\\
0&0
\end{array}} \right]_{m \times n}} \Rightarrow {A^ - } = {\left[ {\begin{array}{*{20}{c}}
{{I_r}}&C\\
D&F
\end{array}} \right]_{n \times m}}\]
$C,D,F$的取值任意
(2)若$A=A_{m \times n}$：
\[PAQ = B = {\left[ {\begin{array}{*{20}{c}}
{{I_r}}&0\\
0&0
\end{array}} \right]_{m \times n}} \Rightarrow {A^ - } = Q{\left[ {\begin{array}{*{20}{c}}
{{I_r}}&C\\
D&F
\end{array}} \right]_{n \times m}}P\]
扩展：矩阵方程$AXB=D$：
(1)若$AXB=D$相容，则必有特解$X_0=A^+DB^+$和$Y_0=A^-DB^-$，使得$AX_0B=D, AY_0B=D$
(2)若$AXB=D$相容，则$X_0=A^+DB^+$是最小范数解
(3)若$AXB=D$不相容，则$X_0=A^+DB^+$是最小二乘解