多元高斯分布的一些性质

多元高斯分布

$p(x|m,\Sigma) = \frac{1}{\sqrt{(2\pi)^{D}|\Sigma|}}e^{-\frac{1}{2}(x-m)^\top \Sigma^{-1}(x-m)}$
或者
$p(x|m,\Sigma) = (2\pi)^{-D/2}|\Sigma|^{-1/2}\exp \left(-\frac{1}{2}(x-m)^\top \Sigma^{-1}(x-m)\right)$
其中 $x,m \in R^{D}, \Sigma \in R^{D\times D}$.

记为 $x\sim N(m,\Sigma)$.

---

边际分布

假设 $x,y$ 为联合高斯随机变量：
$\left[ \begin{array}{c} x\\ y \end{array} \right] \sim N\left( \left[ \begin{array}{c} \mu_x\\ \mu_y \end{array} \right], \left[ \begin{array}{c} A & C\\ C^\top & D \end{array} \right] \right)= N\left( \left[ \begin{array}{c} \mu_x\\ \mu_y \end{array} \right], \left[ \begin{array}{c} \hat{A} & \hat{C}\\ \hat{C}^\top & \hat{D} \end{array} \right]^{-1} \right)$
则
$x \sim N(\mu_x, A)$

条件分布

假设 $x,y$ 为联合高斯随机变量：
$\left[ \begin{array}{c} x\\ y \end{array} \right] \sim N\left( \left[ \begin{array}{c} \mu_x\\ \mu_y \end{array} \right], \left[ \begin{array}{c} A & C\\ C^\top & D \end{array} \right] \right)= N\left( \left[ \begin{array}{c} \mu_x\\ \mu_y \end{array} \right], \left[ \begin{array}{c} \hat{A} & \hat{C}\\ \hat{C}^\top & \hat{D} \end{array} \right]^{-1} \right)$
则
$x| y \sim N(\mu_x + CB^{-1}(y-\mu_y), A - CB^{-1}C^\top)$

乘积

两个高斯分布的乘积为未归一化的高斯分布：
$N(x|a,A)N(y|b,B) = Z^{-1}N(x|c,C)$
其中
$c = C(A^{-1}a + B^{-1}b) \\ C = (A^{-1} + B^{-1})^{-1} \\ Z = (2\pi)^{-D/2}|A+B|^{-1/2}\exp \left(-\frac{1}{2}(a-b)^\top (A+B)^{-1}(a-b)\right)$