Deep Learning - 第二章：线性代数

逆矩阵

可逆矩阵 $A^{-1}$ 的定义为满足下列式子：

$$A^{-1} \cdot A = I$$
注意是左乘矩阵，这样做的原因在解线性方程组的时候就能体现出来；
线性方程组的形式如下：
$$A\cdot x = b$$
$$A^{-1}\cdot A \cdot x = A^{-1}\cdot b$$
$$x = A^{-1} \cdot b$$
说明了存在逆矩阵的话，该线性方程组则存在解，不会出现存在大于一个并且少于无限个解的情况。

生成子空间

对于上述线性方程组，可以解释为：
把A的每个列向量看作空间中从原点出发的多维的不同方向的向量，确定有多少种方法可以到达$b$向量。在这个观点中，向量$x$中的每个元素表示我们应该沿着这些方向走多远；

$$Ax = \sum x_i A_{:,i}$$
一般而言，这种操作被称为线性组合（linear combination），一组向量的生成子空间（span）是原始向量线性组合后所能抵达的点的集合。
确定 $Ax = b$ 是否有解，相当于确定向量 $b$ 是否在 $A$ 列向量的生成子空间中，这个特殊的生成子空间被称为 $A$ 的列空间或者 $A$ 的值域。

求解逆矩阵，要是矩阵可逆，必须保证以下条件：
1、该矩阵必须为 方阵
2、这个矩阵是 非奇异的（列向量线性无关的矩阵）

如果矩阵A不是一个方阵或者是一个奇异的方阵，该线性方程组仍然可能有解。但是我们不能使用逆矩阵去求解。

范数

用于衡量向量的大小：

$$||x||_p = (\sum|x_i|^p)^{\frac{1}{p}}$$
其中 $p >=1$；
当 $p = 2$ 时， $L^2$ 被称为 欧几里得范数；
$L^{\infty}$，被称为max范数，这个范数表示向量中具有最大幅度值的元素的绝对值： $||x||_{\infty} =max |x_i|$。

特征分解

即将矩阵分解成一组特征向量和特征值；
方阵 $A$ 的 特征向量 是指与 $A$ 相乘后相对于对该向量进行缩放的非零向量$v$：

$$Av = \lambda v$$
其中的标量 $\lambda$ 被称为这个特征向量的特征值；
假设矩阵 $A$ 有 $n$ 个线性无关的特征向量 $\{v^1, ... , v^n\}$，对于着特征值 $\{\lambda_1, ... , \lambda_n\}$，那么 $A$ 的特征分解可以记作：
$$A = V diag(\lambda)V^{-1}$$

奇异值分解

奇异值分解（singular value decomposition，SVD），将矩阵分解为奇异向量和奇异值。每个实数矩阵，都有一个奇异值分解，但不一定都有特征分解，例如非方阵的矩阵。
奇异值的分解：

扫描二维码关注公众号，回复： 1650731 查看本文章

$$A = U D V^T$$
假设 $A$ 是一个 $m \cdot n$的矩阵，那么 $U$ 是一个 $m\cdot m$的正交矩阵， $D$是一个 $m\cdot n$的对角矩阵， $V$是一个 $n\cdot n$的正交矩阵

迹运算 & 行列式

迹运算返回的是矩阵对角元素的和：$Tr(A) = \sum A_{i,i}$

行列式记为：$det(A)$，是一个将方阵$A$ 映射到实数的函数。行列式等于矩阵特征值的乘积。

对于任意阶行列式，都可以改写为第一行某一元素与从第二行起的某一个n-1阶行列式的积，以此不断递推，直到分为某项与二阶行列式的积，然后再自此回溯最终可得解。
二阶行列式：

$$\begin{vmatrix} a & b \\ c & d \\ \end{vmatrix} = a\cdot d - b\cdot c$$