矩阵杂识

1. 矩阵范数

\qquad 设置矩阵$A=\left[\begin{array}{ccc}{a}_{11}& \cdots & a_{1n}\\ ⋮& \ddots & ⋮\\ a_{m1}& \cdots & a_{mn}\end{array}\right]\in C^{m\times n}$
（1）$||A|{|}_1=max(\sum _{i=1}^m|a_{i1}|,\cdots ,\sum _{i=1}^m|a_{in}|)$
（2）$||A|{|}_{\infty }=max(\sum _{j=1}^n|a_{1j}|,\cdots ,\sum _{j=1}^n|a_{mj}|)$
（3）$||A|{|}_{Frob}={\left[\sum _{i=1}^m\sum _{j=1}^n|a_{ij}{|}^2\right]}^{\frac{1}{2}}$
（4）$||A|{|}_2=(max({\lambda }_1,\cdots ,{\lambda }_n){)}^{\frac{1}{2}}$，其中${\lambda }_i$是$A^{H}A$的特征值。$A^H$是矩阵$A$的共轭矩阵。

2. 矩阵正定

positive definite matrix

2.1 正定矩阵(PD):

\qquad 给定一个大小为 $n\times n$ 的实对称矩阵 $A$，若对于任意长度为 $n$ 的非零向量 $x$，有 $x^{T}Ax$ 恒成立，则矩阵 $A$ 是一个正定矩阵。

2.2 半正定矩阵(PSD)

\qquad 给定一个大小为 $n\times n$ 的实对称矩阵 $A$，若对于任意长度为 $n$ 的非零向量 $x$，有 $x^{T}Ax$ 恒成立，则矩阵 $A$ 是一个半正定矩阵。

3. 正交矩阵

\qquad 正交矩阵（Orthogonal Matrix）是指其转置等于其逆的矩阵，即 $A^T=A^{-1}$。正交矩阵的行列式必定是+1或-1。

• 重要性质：
  • A的逆等于A的转置，即 $A^{-1}=A^T$。
  • A的行列式为 $\pm 1$，即 $|A|=\pm 1$。
  • A的行（列）向量组为 $n$ 维单位正交向量组。

4. 特征向量和特征值

$Ax=\lambda x$

• 不被矩阵改变方向的向量。
• 对称矩阵总是可以找到特征向量。

5. 哈达玛积

\qquad 两个矩阵的按元素乘法称为哈达玛积（Hadamard product），记为：$A⨀B$。

6. 求导

• 对于分子布局来说，我们求导结果的维度以分子为主；对于分母布局来说，我们求导结果的维度以分母为主。以下我们采用的就是分子布局。对于分子布局和分母布局的结果来说，两者相差一个转置。

• 若 $x\text{x}x=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$，$y$ 为常数，则 $\frac{\partial y}{\partial x\text{x}x}=\left[\frac{\partial y}{\partial x_1},\frac{\partial y}{\partial x_2},\cdots ,\frac{\partial y}{\partial x_n}\right]$ 是行向量。

• 若 $x$ 为常数，$y\text{y}y=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]$，则 $\frac{\partial y\text{y}y}{\partial x}=\left[\begin{array}{c}\frac{\partial y_1}{\partial x}\\ \frac{\partial y_2}{\partial x}\\ ⋮\\ \frac{\partial y_m}{\partial x}\end{array}\right]$ 是列向量。

• 若 $x\text{x}x=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$，$y\text{y}y=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]$，则 $\frac{\partial y\text{y}y}{\partial x\text{x}x}=\left[\begin{array}{c}\frac{\partial y_1}{\partial x\text{x}x}\\ \frac{\partial y_2}{\partial x\text{x}x}\\ ⋮\\ \frac{\partial y_m}{\partial x\text{x}x}\end{array}\right]=\left[\begin{array}{c}\frac{\partial y_1}{\partial x_1},\frac{\partial y_1}{\partial x_2},\cdots ,\frac{\partial y_1}{\partial x_n}\\ \frac{\partial y_1}{\partial x_1},\frac{\partial y_1}{\partial x_2},\cdots ,\frac{\partial y_1}{\partial x_n}\\ ⋮\\ \frac{\partial y_m}{\partial x_1},\frac{\partial y_m}{\partial x_2},\cdots ,\frac{\partial y_m}{\partial x_n}\end{array}\right]$ 是矩阵。