二维高斯分布（Two-dimensional Gaussian distribution）的参数分析

　　最近在看高斯混合模型（Gaussian Mixture Model, GMM），涉及到高斯分布的参数。为此特意回顾了概率论的二维高斯分布的相关概念，并分析了参数对二维高斯分布曲面的影响。

1、多维高斯分布的概率密度函数

　　　
　　多维变量$X = ({x_1},{x_2},...{x_n})$的联合概率密度函数为：
　　　　　　　$f(X) = \frac{1}{{{{(2\pi )}^{d/2}}{{\left| \Sigma \right|}^{1/2}}}}\exp [ - \frac{1}{2}{(X - u)^T}{\Sigma ^{ - 1}}(X - u)],X = ({x_1},{x_2}...{x_n})$
　　其中：
　　d：变量维度。对于二维高斯分布，有d=2;
　　$u = \left( \begin{array}{l} {u_1}\ {u_2}\ …\ {u_n} \end{array} \right)$：各位变量的均值；
　　$\Sigma$：协方差矩阵，描述各维变量之间的相关度。对于二维高斯分布，有：

$$\Sigma = \left( {\begin{array}{*{20}{c}} {{\delta _{11}}}&{{\delta _{12}}}\\ {{\delta _{21}}}&{{\delta _{22}}} \end{array}} \right)$$
　　后文主要分析均值和协方差矩阵对二维高斯分布的影响。

2、均值和协方差矩阵对二维高斯分布的影响

2.1 $u = \left( \begin{array}{l} 0\ 0 \end{array} \right),\Sigma = \left( {\begin{array}{*{20}{c}} 3&0\\ 0&3 \end{array}} \right)$

2.2 $u = \left( \begin{array}{l} 4\ 4 \end{array} \right),\Sigma = \left( {\begin{array}{*{20}{c}} 3&0\\ 0&3 \end{array}} \right)$

2.3 $u = \left( \begin{array}{l} 0\ 0 \end{array} \right),\Sigma = \left( {\begin{array}{*{20}{c}} 3&0\\ 0&{10} \end{array}} \right)$

2.4 $u = \left( \begin{array}{l} 0\ 0 \end{array} \right),\Sigma = \left( {\begin{array}{*{20}{c}} 1&{0.8}\\ {0.8}&1 \end{array}} \right)$

2.5 $u = \left( \begin{array}{l} 0\ 0 \end{array} \right),\Sigma = \left( {\begin{array}{*{20}{c}} 1&{ - 0.8}\\ { - 0.8}&1 \end{array}} \right)$

3、总结

①均值表征的是各维变量的中心，其对二维高斯曲面的影响较好理解，它使得整个二维高斯曲面在xoy平面上移动；
②对于协方差矩阵，对角线上的两个元素，即${\delta _{11}}$和${\delta _{22}}$表征的是x维和y维变量的方差，决定了整个高斯曲面在某一维度上的“跨度”，方差越大，“跨度”越大；
③协方差矩阵的斜对角线上面的两个元素，即${\delta _{12}}$和${\delta _{21}}$（${\delta _{12}}$=${\delta _{21}}$）表征的是各维变量之间的相关性：${\delta _{12}}$>0说明x与y呈正相关（x越大，y越大），其值越大，正相关程度越大；${\delta _{12}}$<0呈负相关；否则不相关。