多维高斯分布与协方差矩阵的关系以及高斯椭圆

一维高斯分布概率密度函数

$$f(x;\mu,\sigma) = \frac{1}{\sigma \sqrt{2\pi}} \exp(-\frac{(x-\mu)^2}{2\sigma^2})$$
若随机变量 $X$服从这个高斯分布，则可写作 $X\sim N(\mu,\sigma)$。其中 $\mu$为均值， $\sigma$为标准差， $\sigma^2$为方差。

多维高斯分布概率密度函数

如果随机变量$X=(X_1,X_2,\dots,X_p)'$的分布密度函数有如下形式

$$f(x_1,x_2,\dots,x_p)=f(x)=\frac{1}{\sqrt{2\pi}^{p/2}}\frac{1}{|\Sigma|^{1/2}}\exp[-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)]$$
其中 $\mu$为均值， $\Sigma$为协方差矩阵。关于协方差矩阵的内容可以看 关于协方差矩阵在机器学习中的理解。
1. 针对二维高斯分布，若随机变量中的两个维度不相关，协方差矩阵对对角阵，则如下图所示


构成一个圆形。

2.若两个维度数据相关，协方差矩阵为对称矩阵，则如下图所示


构成一个椭圆形。

3.针对二维高斯分布，协方差矩阵的对角线元素为$X_1$与$X_2$轴的方差，反斜对角线上的两个值为协方差，表明$X_1$与$X_2$的线性相关程度，（正值时：$X_1$增大，$X_2$也随之增大；负值时：$X_1$增大，$X_2$随之减小）。
图片来自

能够看出，图形的形状跟方向跟协方差矩阵$XX^T$相关，所在轴的方差越大则该方向越长，协方差矩阵最大特征值对应的特征向量的方向为椭圆的朝向。