机器学习|联合分布和边缘分布（一维、二维随机变量）|10mins入门|概统学习笔记（二）

联合分布和边缘分布

• 一维随机变量X与二维随机变量（X，Y）（及以上）比较

  • 二维离散型随机变量（X，Y）， 联合分布

    • X和Y的联合概率函数为
      $P(X=x_i,Y=y_j)=p_{ij} \quad i,j=1,2,...$

      $\begin{cases} p_{ij}\geq 0,\space i,j=1,2,... \\ \sum_i \sum_j p_{ij}=1 \end{cases}$

  • 二维连续型随机变量（X，Y）

    • X和Y的联合密度函数
      $P\{(x,y)\in A\}=\iint_A f(x,y)dxdy \quad \quad A \subset R_2,f(x,y)\geq 0 \\ \int_{-\infty}^{\infty}\int_{-\infty}^{\infty}f(x,y)dxdy=1$

  • 二维随机变量(X,Y)里和X和Y的联合分布函数
    $F(x,y)=P(X\leq x, Y\leq y) \quad \quad -\infty<x,y<\infty$

  • 一维离散型随机变量X

    • X的概率函数
      $P(X=x_k)=p_k,\quad k=1,2,... \\ \begin{cases} p_k\geq 0,\quad k=1,2,... \\ \sum_k p_k = 1 \end{cases}$

  • 一维连续型随机变量X

    • X的密度函数

  $P\{a\leq X \leq b\}=\int_a^bf(x)dx \quad f(x) \geq0 \\ \int_{-\infty}^{\infty}f(x)dx = 1$

  • 一维随机变量X的分布函数
    $F(x)=P(X\leq x) \quad \quad -\infty < x <\infty$

• 联合分布与边缘分布的关系

  由联合分布可以确定边缘分布，但由边缘分布一般不能确定联合分布

  • 一般，对二维离散型随机变量（X，Y）

    X和Y的联合概率函数为：
    $P(X=x, Y=y_i)=p_{ij}, \quad i,j=1,2,...$
    则（X，Y）关于X的边缘概率函数为：
    $P(X=x_i)=p_i=\sum_jp_{ij}, \quad i=1,2,...$
    则（X，Y）关于Y的边缘概率函数为：
    $P(Y=y_j)=p_j=\sum_ip_{ij}, \quad j=1,2,...$
    

• 对二维连续型随机变量（X，Y）

  X和Y的联合概率密度为：
  $f(x,y)$
  则（X，Y）关于X的边缘概率函数为：
  $f_X(x)=\int_{-\infty}^\infty f(x,y)dy$
  （X，Y）关于Y的边缘概率函数为：
  $f_Y(y)=\int_{-\infty}^\infty f(x,y)dx$

• 对二维随机变量（X，Y）

  X和Y的联合分布函数为
  $F(x,y)$
  则（X，Y）关于X的边缘分布函数为
  $F_X(x)=lim_{y \to \infty }F(x,y)$
  （X，Y）关于Y的边缘分布函数为
  $F_Y(y)=lim_{x \to \infty}F(x,y)$
  不难看出，对二维连续型随机变量（X，Y），其概率密度与分布函数的关系如下：
  $f(x,y)=\frac{\partial ^2F(x,y)}{\partial x \partial y}$
  在 $f(x,y)$的连续点
  $F(x,y)=\int_{-\infty}^x \int_{-\infty}^y f(u,v)dudv$