机器学习中的数学原理——矩阵论

正定矩阵

在线性代数里，正定矩阵 (positive definite matrix) 有时会简称为正定阵。
定义:
$A$是n阶方阵，如果对任何非零向量 $x$，都有 $x^TAx>0$，其中 $x^T$ 表示 $x$的转置，就称 $A$正定矩阵。
性质:

1. 正定矩阵的行列式恒为正；
2. 实对称矩阵 $A$正定当且仅当 $A$与单位矩阵合同；
3. 两个正定矩阵的和是正定矩阵；
4. 正实数与正定矩阵的乘积是正定矩阵。

等价命题:
对于n阶实对称矩阵 $A$，下列条件是等价的：

1. $A$是正定矩阵；
2. $A$的一切顺序主子式均为正；
3. $A$的一切主子式均为正；
4. $A$的特征值均为正；
5. 存在实可逆矩阵C，使 $A=C^TC$；
6. 存在秩为n的m×n实矩阵B，使 $A=B^TB$;
7. 存在主对角线元素全为正的实三角矩阵R，使 $A=R^TR$

根据正定矩阵的定义及性质，判别对称矩阵A的正定性有两种方法：

1. 求出 $A$的所有特征值。若 $A$的特征值均为正数，则 $A$是正定的；若 $A$的特征值均为负数，则 $A$为负定的。
2. 计算 $A$的各阶顺序主子式。若 $A$的各阶顺序主子式均大于零，则 $A$是正定的；若 $A$的各阶顺序主子式中，奇数阶主子式为负，偶数阶为正，则 $A$为负定的。

例： 判断矩阵是否正定
$Q=\begin{matrix} 6 & -3 &1 \\ -3 & 2 & 0\\ 1 & 0 & 4 \end{matrix}$

解：对称矩阵Q的三个顺序主子式依次为
$|6|=6>0$

$\begin{vmatrix} 6 & -3 \\ -3 & 2\\ \end{vmatrix}=3>0$

$\begin{vmatrix} 6 & -3 &1 \\ -3 & 2 & 0\\ 1 & 0 & 4 \end{vmatrix}=10>0$

矩阵Q是正定的

对称正定矩阵

$A$是n阶方阵，若 $A=A^T$，如果对任何非零向量 $x$，都有 $x^TAx>0$，其中 $x^T$ 表示 $x$的转置，就称 $A$为对称正定矩阵。

半正定矩阵

设 $A$是实对称矩阵。如果对任意的实非零列向量x有 $xTAx≥0$，就称 $A$为半正定矩阵。
对于半正定矩阵来说，相应的条件应改为所有的主子式非负。顺序主子式非负并不能推出矩阵是半正定的。
性质:

1. 半正定矩阵的行列式是非负的；
2. 两个半正定矩阵的和是半正定的；
3. 非负实数与半正定矩阵的数乘矩阵是半正定的。

等价条件:

1. $A$是半正定的；
2. $A$的所有主子式均为非负的；
3. $A$的特征值均为非负的；
4. 存在n阶实矩阵C，使 $A=C^TC$；
5. 存在秩为r的r×n实矩阵B，使 $A=B^TB$。

直观理解正定、半正定矩阵:
$X^TMX≥0$
$X^TY≥0 (Y=MX)$
$cos(\theta)=\frac{X^TY}{||X||∗||Y||}≥0$
||X||, ||Y||代表向量 X,Y的长度， $\theta$是他们之间的夹角。正定、半正定矩阵的直觉代表一个向量经过它的变化后的向量与其本身的夹角小于等于90度。

应用

在FM分解机中，引入辅助（分解）矩阵时，用到一个结论：当k足够大时，对于任意n*n的对称正定的实矩阵 $\hat{W}$，均存在n*k的实矩阵，使得 $\hat{W}=VV^T$成立。

参考网址：
正定矩阵-百度百科