机器学习|条件分布（离散型、连续型随机变量）|10mins入门|概统学习笔记（四）

条件分布

• 背景：在事件B发生的条件下事件A发生的条件概率：
  $P(A|B)=\frac{P(AB)}{P(B)}$

• 随机变量条件分布：设有两个随机变量X，Y，在给定Y取某个或某些值的条件下，求X的概率分布

• 条件分布是一种概率分布，它具有概率分布的一切性质，正如条件概率是一种概率，具有概率的一切性质

  • 例如：
    $P(X=x_i|Y=y_j)\geq0, \quad i=1,2,... \\ \sum_{i=1}^\infty P(X=x_i|Y=y_j)=1$

• 离散型随机变量的条件分布

  • 设（X，Y）是二维离散型随机变量，对于固定的j，若 $P(Y=y_j)>0$，则称
    $P(X=x_i|Y=y_j)=\frac{P(X=x_i,Y=y_j)}{P(Y=y_j)}=\frac{p_{ij}}{p_j},i=1,2,...$
    为在 $Y=y_j$条件下随机变量X的条件概率函数

  • 求条件分布，先求边缘分布

• 连续型随机变量的条件分布

  • 设（X，Y）是二维连续型随机变量，由于对任意 $x,y,P(X=x)=0,P(Y=y)=0$，所以不能直接用条件概率公式得到条件分布。

    设X和Y的联合概率密度为 $f(x,y)$，边缘概率密度为 $f_X(x),f_Y(y)$，

    则对一切使 $f_X(x)>0$的x，定义已知X=x下，Y的条件密度函数为
    $f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)}$
    同样，对一切使 $f_Y(y)>0$的y，定义已知Y=y下，X的条件密度函数为
    $f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}$
    将上式左边乘以 $dx$，右边乘以 $\frac{dx dy}{dy}$既得
    $f_{X|Y}dx=\frac{f(x,y)dxdy}{f_Y(y)dy}\approx \frac{P\{x\leq X<x+dx,y\leq Y \leq y+ dy\}}{p\{y\leq Y\leq y+dy\}} \\ =P\{x \leq X \leq x+ dx |y \leq Y < y+dy\}$

  • 若(X, Y)是连续型随机变量，则对任一集合A，
    $P(X\in A|Y=y) = \int_A f_{X|Y}(x|y)dx$
    特别，取 $A=(-\infty,u)$,

    定义在已知条件Y=y下，X的条件分布函数为
    $F_{X|Y}(u|y)=P(X\leq u|Y=y)=\int_{-\infty}^uf_{X|Y}(x|y)dx$