矩阵乘以其矩阵转置

在推导公式和计算中，常常能碰到矩阵乘以其矩阵转置，在此做个总结。

1.假设矩阵A是一个 $m*n$ 矩阵，那么
$A*A^T$ 得到一个 $m*m$ 矩阵，$A^T*A$ 得到一个 $n*n$ 的矩阵，这样我们就能得到一个方矩阵。
看一个例子:

$X \theta =H$ 求解$\theta$.
$X^TX\theta =X^TH$ 这个矩阵X我们不能确定是否是方矩阵，所以我们在其左侧同时乘以X矩阵的转置，这样 就在$\theta$ 的左侧得到一个方矩阵。
$(X^TX)^{-1}X^TX\theta =(X^TX)^{-1}X^TH$ 再在等式的两边乘以$X^TX$的逆，就变成了单位矩阵$I$和$\theta$相乘，这样我们就得到了$\theta$的解:
$\theta=(X^TX)^{-1}X^TH$

2.对称矩阵
如果方阵A满足$A^T=A$,就称A为对称矩阵。
假设$A=X^TX$,A的转置$A^T=(X^TX)^T=X^TX=A$,所以我们可以说$(X^TX)$是一个对称矩阵。对称矩阵的特征向量两两正交。 1

3.奇异值分解(SVD)
我们可以用与A相关的特征分解来解释A的奇异值分解。A的左奇异向量是$AA^T$的特征向量，A的右奇异向量是$A^TA$的特征向量，A的非零奇异值是$A^TA$特征值的平方根，同时也是$AA^T$特征值的平方根。 2

Reference:

---

1. https://blog.csdn.net/BingeCuiLab/article/details/47209037 ↩
2. Goodfellow I, Bengio Y, Courville A, et al. Deep learning[M]. Cambridge: MIT press, 2016. ↩