概率论——伯努利和二项随机变量

1 伯努利随机变量

  对于一个试验，我们将其结果分为两类，成功或失败，当试验结果为成功时 $X=1$，试验结果失为败时 $X=0$。这样，随机变量 $X$的概率质量函数为：
$p(0) = P\{X=0\}=1-p \\ p(1) = P\{X=1\}=p$
其中 $0\le p \le 1$是每次试验成功的概率。如果随机变量的概率质量函数为上式的形式，那么就称 $X$为伯努利随机变量。

2 二项随机变量

  现在对于上述试验，假设进行 $n$次独立的重复试验，每次试验成功的概率为 $p$，失败的概率为 $1-p$。现在我们令随机变量 $X$表示 $n$次试验中成功的次数，那么此时就称 $X$为参数是 $(n,p)$的二项随机变量，因此伯努利随机变量也是参数为 $(1,p)$的二项随机变量。二项随机变量的概率质量函数为：
$p(i) = \begin{pmatrix}n \\i\end{pmatrix}p^i(1-p)^{n-i}\\ i = 0,1,\cdots,n$
根据二项式定理，可以得出概率和为1：
$\sum_{i=0}^np(i) = \sum_{i=0}^n \begin{pmatrix}n \\i\end{pmatrix}p^i(1-p)^{n-i} = (p+(1-p))^n=1$

3 二项随机变量的性质

  首先来推导一下二项随机变量的期望和方差，根据期望的定义可得：
$E[X] = \sum_{i=0}^n i\begin{pmatrix}n \\i\end{pmatrix}p^i(1-p)^{n-i} = \sum_{i=1}^n i\begin{pmatrix}n \\i\end{pmatrix}p^i(1-p)^{n-i}$
现在对这个式子进行化简，我们来看式子中的 $i\begin{pmatrix}n \\i\end{pmatrix}$：
$i\begin{pmatrix}n \\i\end{pmatrix}=i*\cfrac{n!}{(n-i)!*i!} = \cfrac{n*(n-1)!}{(n-i)!*(i-1)!} = n\begin{pmatrix}n-1 \\i-1\end{pmatrix}$
将该式替换后，期望变为：
$E[X]= \sum_{i=1}^n n\begin{pmatrix}n-1 \\i-1\end{pmatrix}p^i(1-p)^{n-i}$
令 $j = i-1$，再提出适当的参数得：
$E[X]= np \sum_{j=0}^{n-1} \begin{pmatrix}n-1 \\j\end{pmatrix}p^j(1-p)^{n-1-j}$
观察右边的式子 $\begin{pmatrix} n-1\\ j\end{pmatrix} p^j(1-p)^{n-1-j}$可以看出， $J$是一个参数为 $(n-1,p)$的二项随机变量，对这个式子求和的结果就是 $1$，因此上述期望为：
$E[X] = np$
  现在来推导 $X$的方差，在这之前先考虑 $X^k$的期望：
$E[X^k] = \sum_{i=0}^n i^k\begin{pmatrix}n \\i\end{pmatrix}p^i(1-p)^{n-i} = \sum_{i=1}^n i^k\begin{pmatrix}n \\i\end{pmatrix}p^i(1-p)^{n-i}$
同样，根据上面的过程我们最终能够得到：
$E[X^k] = \sum_{i=1}^n i^k\begin{pmatrix}n \\i\end{pmatrix}p^i(1-p)^{n-i} \\ =np \sum_{j=0}^{n-1}(j+1)^{k-1}\begin{pmatrix}n-1 \\j\end{pmatrix}p^j(1-p)^{n-1-j}\\ =npE[(J+1)^{k-1}]$
其中 $J$是一个参数为 $(n-1,p)$的二项随机变量，令 $k=2$则有：
$E[X^2] = npE[J+1] = np*[(n-1)p+1]$
根据方差和期望的关系可知：
$Var(X)=E[X^2]-E[X]^2 = np*[(n-1)p+1]-np = np(1-p)$

那么到现在，二项随机变量的期望和方差便推导完毕了：
$E[X] = np\\ Var(X) = np(1-p)$
  二项随机变量的概率质量函数的一个重要性质：如果 $X$是一个参数为 $(n,p)$的二项随机变量 $(0\lt p\lt 1)$，那么当 $k$从 $0$到 $n$时， $P\{X=k\}$是先增后减的，当 $k = [(n+1)p]$时取得最大值，( $[X]$表示小于或等于 $X$的最大整数)这一性质的证明可以通过讨论 $P\{X=k\}-P\{X=k-1\}$的正负来证明:
$P\{X=k\}-P\{X=k-1\}\ge 0$
带入公式得：
$\begin{pmatrix}n\\k\end{pmatrix}p^k(1-p)^{n-k}\ge \begin{pmatrix}n\\k-1\end{pmatrix}p^{k-1}(1-p)^{n-k+1}$
化简后得：
$p(n-k+1)\ge k(1-p)$
即当 $k\le (n+1)p$的时候，函数是递增的，在该点取最大值，超过该点则递减。通过讨论还能够得到 $P\{X=k\}$和 $P\{X=k-1\}$的递推公式：
$P\{X=k\} =\cfrac{p(n-k+1)}{(1-p)k} P\{X=k-1\}$

4 二项随机变量的分布函数

  根据分布函数的定义可以轻松列出分布函数的求法：
$P\{X\le i\} = \sum_{k = 0}^i\begin{pmatrix}n\\k\end{pmatrix}p^k(1-p)^{n-k}$
通过上述的 $P\{X=k\}$和 $P\{X=k-1\}$的递推公式便可轻易地编写计算分布函数的计算程序。

参考资料：《概率论基础教程》Sheldon M.Ross