机器学习知识总结系列-机器学习中的数学-矩阵（1-3-2）

矩阵
SVD

矩阵的乘法

状态转移矩阵
状态转移矩阵
特征值和特征向量
对称阵
正交阵
正定阵

数据白化
矩阵求导
向量对向量求导
标量对向量求导
标量对矩阵求导

一.矩阵

1.1 SVD

奇异值分解（Singular Value Decomposition），假设A是一个m×n阶矩阵，则存在一个分解使得

Σ对角线上的元素称为矩阵A的奇异值；

U的第i列称为A的关于σi的左奇异向量；

V的第i列称为A的关于σi的右奇异向量。

通常将奇异值由大而小排列。如此Σ便能由M唯一确定了。（虽然U和V仍然不能确定）。而且奇异值的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。也就是说，我们也可以用前r大的奇异值来近似描述矩阵，那么SVD就起到一个特征选择的作用或者是降维的作用。

具体描述参考：http://blog.csdn.net/zhongkejingwang/article/details/43053513

1.2 代数余子式

在一个n阶行列式A中,把(i,j)元素a_ij所在的第i 行和第j列划去后，留下的n-1阶方阵的行列式叫做元素a_ij的余子式，记作M_ij

注意：行列式是数值，因此余子式和代数余子式也是数值；余子式可能也可能是负数。

1.3 伴随矩阵

注意：位于第j行i列

1.4 方阵的逆

当方阵的行列式不为0时，有：

如果不是方正，请参考矩阵的广义逆

1.5 范德蒙行列式

1.6 矩阵的乘法

为阶的矩阵，为阶的矩阵，那么，是阶的矩阵，其中

1.7 矩阵和向量的乘法

为阶的矩阵，为阶的矩阵，则为的列向量，记

由于维列向量和n维空间的点一一对应，上式实际给出了从维空间的点到维空间的的线性变换。

旋转、平移

1.8 状态转移矩阵

数学解释：
设一个初始概率分布（只是一个向量）
- 第代中处于第个阶层的概率为：

原理：全概率公式：

参考马尔科夫过程：https://blog.csdn.net/u010459100/article/details/51657955

1.9.矩阵的秩

在的矩阵A中，任取行列，不改变这个元素在中的次序，得到阶方阵，称为矩阵的k阶子式。

设在矩阵A中有一个不等于的阶子式，且所有阶子式全等于（如果存在的话），那么称为矩阵的最高阶非零子式，称为矩阵的秩，记作

如果一个矩阵那么可以说这个矩阵式满秩的

的可逆矩阵，秩为n
矩阵的秩等于它的行列向量组的秩

1.91 秩和线性方程组的解的关系

这里写图片描述

对于n元线性方程组Ax = b：

无解的充要条件是
唯一解的充要条件是
Ax= 0的只有零解的充要条件是
无穷解的充要条件是
Ax= b有解的充要条件是
Ax= 0的非零解的充要条件是

1.10向量组

向量b能由向量组线性表示的充
要条件是矩阵的秩等于矩阵
的秩。

因为有解的条件是秩相等。

若向量组A与向量组B能相互线性表示，则称两个向量组等价。

1.11系数矩阵

参考：https://blog.csdn.net/IOThouzhuo/article/details/50836787

二.特征值和特征向量

2.1正交阵

若阶矩阵A满足,称A为正交矩阵，简称正交阵。

是正交阵的充要条件：A的列（行）向量都是单位向量，且两两正交。

是正交阵，X为向量，则Ax称作正交变换。

正交变换不改变向量长度。

2.2特征值和特征向量

A是n阶矩阵，若数和n维非0列向量满足，那么，数称为A的特征向值，x称为A的对应于特征值的特征向量。

根据定义，立刻得到，令关于的多项式为0，方程的根为的特征值；将根带入方程组，求得到的非零解，即对应的特征向量。

设阶矩阵的特征值为,则

矩阵A的主行列式的元素和，称作矩阵A的迹

推论：

不同特征值对应的特征向量，线性无关。

实对称阵的特征值也是实数。

实对称阵不同的特征值的特征向量正交

2.3 合同变换

设A为n阶对称阵，则必有正交阵P，使得

2.4.正定阵

对于阶方阵，若任意阶向量，都有，则称是正定阵。

由一阶推广而来：

若条件变成，则称作半正定矩阵。

正定阵的判定：
- 对称阵A为正定阵；
- A的特征值都为正；
- A的顺序主子式大于0；

2.5 漂白/白化whitening

暂定

三. 矩阵求导

参考：https://blog.csdn.net/IOThouzhuo/article/details/50836787

矩阵
SVD

矩阵的乘法

状态转移矩阵
状态转移矩阵
特征值和特征向量
对称阵
正交阵
正定阵

数据白化
矩阵求导
向量对向量求导
标量对向量求导
标量对矩阵求导

一.矩阵

1.1 SVD

奇异值分解（Singular Value Decomposition），假设A是一个m×n阶矩阵，则存在一个分解使得

Σ对角线上的元素称为矩阵A的奇异值；

U的第i列称为A的关于σi的左奇异向量；

V的第i列称为A的关于σi的右奇异向量。

具体描述参考：http://blog.csdn.net/zhongkejingwang/article/details/43053513

1.2 代数余子式

在一个n阶行列式A中,把(i,j)元素a_ij所在的第i 行和第j列划去后，留下的n-1阶方阵的行列式叫做元素a_ij的余子式，记作M_ij

注意：行列式是数值，因此余子式和代数余子式也是数值；余子式可能也可能是负数。

1.3 伴随矩阵

注意：位于第j行i列

1.4 方阵的逆

当方阵的行列式不为0时，有：

如果不是方正，请参考矩阵的广义逆

1.5 范德蒙行列式

1.6 矩阵的乘法

为阶的矩阵，为阶的矩阵，那么，是阶的矩阵，其中

1.7 矩阵和向量的乘法

为阶的矩阵，为阶的矩阵，则为的列向量，记

由于维列向量和n维空间的点一一对应，上式实际给出了从维空间的点到维空间的的线性变换。

旋转、平移

1.8 状态转移矩阵

数学解释：
设一个初始概率分布（只是一个向量）
- 第代中处于第个阶层的概率为：

原理：全概率公式：

参考马尔科夫过程：https://blog.csdn.net/u010459100/article/details/51657955

1.9.矩阵的秩

在的矩阵A中，任取行列，不改变这个元素在中的次序，得到阶方阵，称为矩阵的k阶子式。

设在矩阵A中有一个不等于的阶子式，且所有阶子式全等于（如果存在的话），那么称为矩阵的最高阶非零子式，称为矩阵的秩，记作

如果一个矩阵那么可以说这个矩阵式满秩的

的可逆矩阵，秩为n
矩阵的秩等于它的行列向量组的秩

1.91 秩和线性方程组的解的关系

这里写图片描述

对于n元线性方程组Ax = b：

无解的充要条件是
唯一解的充要条件是
Ax= 0的只有零解的充要条件是
无穷解的充要条件是
Ax= b有解的充要条件是
Ax= 0的非零解的充要条件是

1.10向量组

向量b能由向量组线性表示的充
要条件是矩阵的秩等于矩阵
的秩。

因为有解的条件是秩相等。

若向量组A与向量组B能相互线性表示，则称两个向量组等价。

1.11系数矩阵

参考：https://blog.csdn.net/IOThouzhuo/article/details/50836787

二.特征值和特征向量

2.1正交阵

若阶矩阵A满足,称A为正交矩阵，简称正交阵。

是正交阵的充要条件：A的列（行）向量都是单位向量，且两两正交。

是正交阵，X为向量，则Ax称作正交变换。

正交变换不改变向量长度。

2.2特征值和特征向量

A是n阶矩阵，若数和n维非0列向量满足，那么，数称为A的特征向值，x称为A的对应于特征值的特征向量。

根据定义，立刻得到，令关于的多项式为0，方程的根为的特征值；将根带入方程组，求得到的非零解，即对应的特征向量。

设阶矩阵的特征值为,则

矩阵A的主行列式的元素和，称作矩阵A的迹

推论：

不同特征值对应的特征向量，线性无关。

实对称阵的特征值也是实数。

实对称阵不同的特征值的特征向量正交

2.3 合同变换

设A为n阶对称阵，则必有正交阵P，使得

2.4.正定阵

对于阶方阵，若任意阶向量，都有，则称是正定阵。

由一阶推广而来：

若条件变成，则称作半正定矩阵。

正定阵的判定：
- 对称阵A为正定阵；
- A的特征值都为正；
- A的顺序主子式大于0；

2.5 漂白/白化whitening

暂定

三. 矩阵求导