[更新中] Deep Learning笔记

• Chapter2
  • 2.8 奇异值分解
  • 2.9 Moore-Penrose求逆
  • 2.10 迹运算
  • 2.11 行列式
  • 2.12 实例：主成分分析

Chapter2

2.8 奇异值分解

每个实数矩阵都有一个奇异值分解，但不一定有特征值分解。奇异值分解将A分解为三个矩阵的乘积：
$A=UDV^T$
其中，矩阵 $U$和 $V$都是正交矩阵， $D$为对角矩阵。矩阵 $D$不一定为方阵。
A的左奇异向量是 $AA^T$的特征向量，A的右奇异向量是 $A^TA$的特征向量，A的非零奇异值是 $AA^T$和 $A^TA$特征值的平方根。
奇异值分解可用于非方阵的矩阵求逆。

2.9 Moore-Penrose求逆

伪逆的计算公式为：
$A^+=VD^+ U^T$
其中， $D^+$是 $D$非零元素取倒数之后再转置得到的。
伪逆可用于求解“胖宽”型矩阵的线性方程的一个解。

2.10 迹运算

迹运算返回矩阵对角元素的和：
$Tr(A)=∑_iA_(i,i)$
书中说迹运算提供了Frobenius范数的另一种写法，但和前面提到的F-范数的定义明显不相等。
$‖A‖_F=\sqrt{∑_{i,j}A_{i,j}^2}$
$‖A‖_F=\sqrt{Tr(AA^T)}$
经查资料,迹预算得到的矩阵范数，是矩阵的2范数，由向量范数诱导而来，而F-范数属于定义的欧式范数。

矩阵的2范数与F范数有什么区别？ - 愚雨的回答 - 知乎
https://www.zhihu.com/question/63657627/answer/665832998

循环置换后矩阵乘积得到的矩阵形状变了，但迹运算的结果不变。
$Tr(AB)=Tr(BA)$
这个看起来有点违背直觉，但具体算一下就理解了，左右的乘加运算总数是相同的。

2.11 行列式

行列式等于矩阵特征值的乘积，行列式的绝对值可以用来衡量矩阵参与矩阵乘法后空间扩大或缩小了多少。

2.12 实例：主成分分析

为了限制解是唯一解，主成分分析限制进行解码的矩阵D所有列向量都有单位范数，且彼此正交。
通过L2范数衡量原始输入向量x和重构向量g(c*)之间的距离，并最小化距离。当l=1时(编码向量的维度)，最优的D是X^T X最大特征值对应的特征向量。