机器学习|随机变量独立性（二维随机变量及多维）|10mins入门|概统学习笔记（三）

随机变量的独立性

• 两随机变量独立的定义（各种情况）：

  • 两事件A，B独立的定义：若有
    $P(AB)=P(A)P(B)$
    则称事件A，B独立。

  • 设X，Y是两个随机变量，若对任意的x，y，有

  $P(X\leq x,Y\leq y)=P(X\leq x)P(Y\leq y)$

  ​ 则称X，Y相互独立

  • 用分布函数表示，即设X，Y是两个随机变量，对任意的随机变量x，y，有
    $F(x,y)=F_X(x)F_Y(y)$
    则称X，Y相互独立

    它表明，两个随机变量相互独立时，它们的联合分布函数等于两个边缘分布函数的乘积。

  • 若（X，Y）是离散型随机变量，则上述独立性的定义等价于：对（X，Y）的所有可能取值 $(x_i,y_j)$有
    $P(X=x_i,Y=y_j)=P(X=x_i)P(Y=y_j)$
    则称X和Y相互独立

  • 若（X，Y）是连续型随机变量，则上述独立性定义等价于：对任意的x，y，有
    $f(x,y)=f_X(x)f_Y(y)$
    几乎处处成立（在平面上除去面积为0的集合外，处处成立），则称X，Y相互独立。

    其中 $f(x,y)$是X，Y的联合密度， $f_X(x),f_Y(y)$分别是X的边缘密度和Y的边缘密度

• 推广到两个以上的随机变量的情形：

  • 定理1：若连续型随机向量 $(X_1,...,X_n)$的概率密度函数 $f(x_1,...,x_n)$可表示为n个函数 $g_1,...,g_n$之积，其中 $g_i$只依赖于 $x_i$，即
    $f(x_1,...,x_n)=g_1(x_1)\times ...\times g_n(x_n)$
    则 $X_1,..,X_n$相互独立，且 $X_i$的边缘密度 $f_i(x_i)$与 $g_i(x_i)$只相差一个常数因子。

  • 定理2：若 $X_1,...,X_n$相互独立，而
    $Y_1=g_1(X_1,...,X_m)，Y_2=g_2(X_{m+1},...,X_n)$
    则 $Y_1$与 $Y_2$独立。