条件概率

1.条件概率
某个事件在给定其它事件发生时出现的概率被称为条件概率。我们将给定$\mathrm{x}=x$，$\mathrm{y}=y$的条件概率记为$P(\mathrm{y}=y\mid \mathrm{x}=x)$，这个条件概率可以通过下列公式计算：

$$P(\mathrm{y}=y\mid \mathrm{x}=x)=\frac{P(\mathrm{x}=x,\mathrm{y}=y)}{P(\mathrm{x}=x)}$$
条件概率只有在 $P(\mathrm{x}=x)> 0$时有定义。

2.链式法则
任何多维随机向量的联合概率分布，都可以分解为只有一个变量的条件概率相乘的形式：

$$P(\mathrm{x}^{(1)},...,\mathrm{x}^{(n)})=P(\mathrm{x}^{(1)})\prod_{i=2}^{n}P(\mathrm{x}^{(i)}\mid \mathrm{x}^{(1)},...,\mathrm{x}^{(i-1)})$$
这个规则被称为概率的 链式法则或 乘法法则。

3.相互独立和条件独立
两个随机变量$\mathrm{x}$，$\mathrm{y}$，如果他们的联合概率分布可以表示成两个因子的乘积形式，并且一个因子只包含$\mathrm{x}$另一个因子只包含$\mathrm{y}$，我们就称这两个随机变量是相互独立的。

$$\forall x\in \mathrm{x},y\in \mathrm{y},p(\textrm{x}=x,\textrm{y}=y)=p(\textrm{x}=x)p(\textrm{y}=y)$$
如果关于 $\mathrm{x}$和 $\mathrm{y}$的条件概率分布对于 $\mathrm{z}$的每一个值都可以写成乘积的形式，那么这两个随机变量 $\mathrm{x}$和 $\mathrm{y}$在给定随机变量 $\mathrm{z}$时是 条件独立的。
$$\forall x\in \mathrm{x},y\in \mathrm{y},z\in \mathrm{z},p(\textrm{x}=x,\textrm{y}=y\mid \textrm{z}=z)=p(\textrm{x}=x\mid \textrm{z}=z)p(\textrm{y}=y\mid \textrm{z}=z)$$
我们可以采用另一种简化方式来表示相互独立性和条件独立性： $\textrm{x}\perp \textrm{y}$表示 $\mathrm{x}$和 $\mathrm{y}$相互独立， $\textrm{x}\perp \textrm{y}\mid \textrm{z}$表示 $\mathrm{x}$和 $\mathrm{y}$在给定条件 $\mathrm{z}$时条件独立。