multi-variate distribution学习笔记

(1) 矩阵正态分布X~MU(a,b,c) 可以由 多元正态随机向量vec(x)~N(vec(a),  Covariance) 等价表示

但是这牵扯到定义 X~MU(a,b,c)到底是怎么定义的,不同教材的定义还不一样,a和b的次序也很混乱。而且会涉及到kronecker积的定义方式,有的是左积,有的是右积,有的还自带转置。。要先确定教材对这个的定义

可以肯定的是,对于一个零均值高斯矩阵X= H*X0 = H*[x1, ..., xn] = [H*x1, ... ,H*xn],其中x1~xn为标准正态分布列向量x1~N(0, I)

矩阵X的向量化是确定无疑的vec(X) = (H*x1 ; ... ; H*xn)

矩阵向量化后的协方差矩阵也是确定无疑的

Cor( vec(X ) ) = E{ vec(X)* vec(X)^H}

=E{  vec(H*X0*I) * vec(H*X0*I)^H  }

利用vec和kronecker积之间的变换 vec(ABC) = (C^T  krx A) * vec(B),其中krx代表标准的kronecker右积,有:

=E{  (I krx H)vec(X0) * vec(X0) ^H * (I  krx H)^H }

利用(X krx Y)^H = X^H krx Y^H,有

=E{  (I krx H)vec(X0) * vec(X0) ^H * (I  krx H^H) }

=(I krx H)E{  vec(X0) * vec(X0) ^H  } (I  krx H^H) 

利用标准正态分布矩阵X0的协方差为单位阵I,有

=(I krx H) (I  krx H^H) 

利用kronecker积的性质(A1 krx B1)(A2 krx B2) = (A1A2) krx (B1B2),有

=I krx H * H^H

矩阵X的向量化vec(X)的协方差是固定的,但是许多教材下一步基于多元高斯向量定义高斯矩阵却不一样,也许会根据vec(X)的协方差定义X的协方差;也许会基于其共轭转置vec(X^H)的方差来定义X的方差,这是为什么呢?

对于X=H*X0

X^H = X0^H * H^H

vec(X^H) = vec( I * X0^H * H^H) = (H^*   krx  I) vec(X0^H)

Cor ( vec(X)^H ) = (H^*   krx  I) * (H^*   krx  I)^H

    =(H^*   krx  I) * (H^T   krx  I)

    =H^* H^T   krx  I

    =(H  multiply  H^H)^*   krx  I

很多教材[1][2]就会基于这个转置后vec(X^H)的covariance matrix 来定义 X的协方差矩阵。相比于实数域的结论,复数域相当于多了一个共轭operator在(H  multiply  H^H)上面

(H  multiply  H^H) 是什么呢

他是H*X0的列正态向量的协方差 E( Hx1* (Hx1)^H) = H*H^H

参考:

网页:

维基百科 

[1] Matrix normal distribution

[2] Multivariate normal distribution

教材:

[1] matrix variate distributions

这本书局限于实数,所以只有转置,没有共轭转置,kronecker是常用的右积形式。但是我搞不懂为什么矩阵分布要利用转置后的向量来定义???

[2] Linear and Graphical Models for the Multivariate Complex Normal Distribution

这本书是复数域,但是诡异的是他不仅用的kronecker左积,还在kronecker里面自带了共轭。。。为什么要这样啊。。。

[3] wishart 分布引论

实数域,标准的kronecker右积

(2)多变量正态分布(multivariate normal) 和 联合正太分布(joint normal)是一个东西

(3)多变量正态分布 = 该向量可以表示为标准正态分布向量的线性变换 

对于标准正态向量,其各元素均为相互独立的CN(0,1)变量。然而,对于一般的多元正态向量,无法保证其各元素无关,比如全一矩阵[1 1; 1 1]乘以标准正态向量[x1 ; x2],得到的线性变换为[x1+x2; x1+x2],两个元素完全相同,但是它依然是正态随机向量。由于相关性较强,其三维概率密度函数的图像会被压扁。

(4)多变量正态分布 = 向量内部各元素的任意线性组合 仍然 是高斯随机变量

(5)多变量正态分布+无关 = 独立

(6)多变量正态分布依然具有可加性,要求相加的各向量相互独立

猜你喜欢

转载自blog.csdn.net/jianti9962/article/details/118089892