第一章事件的概率

1.1 概率是什么

衡量某种情况（事件）出现的可能性大小的一种指标。

1.1.1 主观概率

见书P002

1.1.2 试验与事件

概率论中事件的含义，分3点在P003到P004，包括试验的含义，随机事件，必然事件，不可能事件的含义。

1.1.3 古典概率

古典概率的定义：设一个试验有 $N$ 个等可能的结果，而事件E恰好包含其中的 $M$ 个结果，则事件 $E$ 的概率，记为 $P(E)$ ，定义为
$P(E) = M / N$
局限性：只适用于全部试验结果为有限个，且等可能性成立的情况。某些情况下这个概念可稍稍引申到试验结果有无限多个的情况，就是所谓的几何概率。
古典概率的计算主要基于排列组合。

1.1.4 概率的统计定义

概率的统计定义：通过实验去估计概率的方法（频率估计概率）。
重要性：1.提供一种估计概率的方法。2.提供一种检验理论正确与否的准则。（见P008）
认为，频率只是概率的估计而非概率本身，或者说说概率就是当试验次数无限增大时频率的极限。

1.1.5 概率的公理化定义

柯氏公理体系（见P009）

1.2 古典概率的计算

1.2.1 排列组合的几个简单公式

$n$ 个不同物件取 $r（1 \le r \le n）$ 个的排列总数，为
$A_n^r = n(n-1)(n-2)...(n-r+1)$
$n$ 个不同物件去 $r（1 \le r \le n）$ 个的不同组合总数，为
$C_n^r =A_n^r/r!=n!/(r!(n-r)!)$
也可以写成
$C_n^r=n(n-1)...(n-r+1)/r!$
只要 $r$ 为非负整数， $n$ 不论为任何实数，不必限制为自然数。
与二项展开式的关系
令 $a=b=1$ 可得
$\sum_{i=0}^nC_n^i=2^n$
令 $a=-1,b=1$ 可得
$\sum_{i=0}^nC_n^i(-1)^i=0$
还可由恒等式 $(1+x)^{m+n}=(1+x)^m(1+x)^n$ ，即
$\sum_{j=0}^{m+n}C_{m+n}^{j}x^j=\sum_{i=0}^mC_m^ix^j\sum_{j=0}^nC_n^jx^j$
中 $x^k$ 项的系数可得：
$C_{m+n}^k=\sum_{i=0}^kC_m^iC_n^{k-i}$
$n$ 个不同物件分成 $k$ 堆，各堆物件数分别为 $r_1,...,r_k$ 的分法是
$n!/(r_1!...r_k!)$
即
$C_n^{r_1}C_{n-r_1}^{r_2}C_{n-r_1-r_2}^{r_3}...C_{n-r_1-r_2-...-r_{k-1}}^{r_k}$

1.2.2古典概率计算举例

例题比较经典

1.3 事件的运算，条件概率与独立性

1.3.1 事件的蕴含，包含及相等

蕴含与包含同义，见书P017

1.3.2 事件的互斥与对立

若 $A$ ， $B$ 两事件不能在同一次试验中发生（但可以都不发生），则称他们是互斥的。

1.3.3 事件的和（或称并）

见书P019

1.3.4 概率的加法定理

定理3.1 若干个互斥事件之和的概率，等于各事件的概率之和。
事件的个数可以是有限的或者无限的，其重要条件是两两互斥。
属于柯氏公理体系，见书P021.
系3.1 以 $A’$ 表示 $A$ 的对立事件，则
$P(A’) = 1 - P(A)$

1.3.5 事件的积（或称交），事件的差

定义见书

1.3.6 条件概率

定义3.1 设有两个事件 $A$ ， $B$ ，而 $P(B)$ 不等于0，则“在给定 $B$ 发生的条件下 $A$ 的条件概率”，记为 $P(A|B)$ ，定义为
$P(A|B)=P(AB)/P(B)$
当 $P(B)=0$ 时，该公式无意义，在高等概率论中也要考虑 $P(A|B)$ 当 $P(B)=0$ 时的定义问题。

1.3.7 事件的独立性，概率乘法定理

设有两个事件 $A$ ， $B$ ， $A$ 的无条件概率 $P(A)$ 与其在给定 $B$ 发生之下的条件概率 $P(A|B)$ 一般是有差别的，这反映了这两个事件之间存在这一些关联。例如，若 $P(A|B) \gt P(A)$ 则 $B$ 的发生使 $A$ 发生的可能性增大了，即 $B$ 促进了 $A$ 的发生。
反之，若 $P(A) = P(A|B)$ ，则 $B$ 的发生与否对于 $A$ 的发生的可能性毫无影响，这时，在概率论上称 $A$ ， $B$ 两事件独立。有
$P(AB) = P(A)P(B)$
定义3.2 两个事件 $A$ ， $B$ 若满足上式，则称 $A$ ， $B$ 独立。
定理3.2 两独立事件 $A$ ， $B$ 的积 $AB$ 的概率 $P(AB)$ 等于其各自概率的积 $P(A)P(B)$ 。
即概率的乘法定理，也就是独立性的定义。
定义3.3 设 $A_1$ ， $A_2$ ，···为有限或无限个事件。如果从其中任意取出有限个 $A_{i_1}$ ， $A_{i_2}$ ，···， $A_{i_m}$ ，都成立
$P(A_{i_1}A_{i_2}···A_{i_m})=P(A_{i_1})P(A_{i_2})···P(A_{i_m})$
则称事件 $A_1$ ， $A_2$ ，···相互独立，简称独立。
这个定义与从条件概率出发的定义是等价的，后者是说，对任何互不相同的 $i_1$ ， $i_2$ ，···， $i_m$ ，有
$P(A_{i_1}|A_{i_2}···A_{i_m})=P(A_{i_1})$
即任何事件 $A_{i_1}$ 发生的可能性大小，不受其他事件发生的影响。
但是上式左边依赖于 $P(A_{i_1}|A_{i_2}···A_{i_m}) \gt 0$ 而定理3.3就没有这个问题。
由独立性定义易推出如下定理。
定理3.3 若干个独立事件 $A_1$ ，···， $A_n$ 之积的概率，等于个时间概率的乘积：
$P(A_1···A_n)=P(A_1)···P(A_n)$
系3.2 独立事件的任一部分也独立。
进一步可推广为：由独立事件决定的事件也独立。
系3.3 若一列事件 $A_1$ ， $A_2$ ，···相互独立，则将其中任意部分改为其对立事件，所得事件列仍为相互独立。（可使用数学归纳法证明）
对于独立性，存在两两独立但是不相互独立的情况，详情见书P027以及后面的例题。

1.3.8 全概率公式与贝叶斯公式

全概率公式
设 $B_1$ ， $B_2$ ，···为有限或无限个事件，它们两两互斥且在每次试验中至少发生一个，即
$B_iB_j=\emptyset (i \ne j)$
$B_1+B_2+···=\Omega$
把具有这些性质的一组事件称为一个完备事件群，注意，任一事件B及其对立事件组成一个完备事件群。
现考虑任一事件 $A$ ，因 $\Omega$ 为必然事件，有 $A=A\Omega=AB_1+AB_2+···$ ，因 $B_1$ ， $B_2$ ,···两两互斥，显然 $AB_1$ ， $AB_2$ ，···也两两互斥，故有
$P(A)=P(AB_1)+P(AB_2)+···$
再有条件概率的定义，有 $P(AB_i)=P(B_i)P(A|B_i)$ ，故有全概率公式
$P(A)=P(B_1)P(A|B_1)+P(B_2)P(A|B_2)+···$
在复杂条件下直接算 $P(A)$ 不易，但 $A$ 总是随着某个 $B_i$ 伴出，适当去构造这样一组 $B_i$ 往往可以简化计算。
或者可以从另一个角度去理解，把 $B_i$ 看做导致事件 $A$ 发生的一种可能途径，对不同途径， $A$ 发生的概率即条件概率 $P(A|B)$ 各不相同。而采取哪个途径却是随机的。这种机制下， $A$ 的综合概率 $P(A)$ 应该是诸 $P(A|B_i)(i=1,2,···)$ 以 $P(B_i)(i=1,2,···)$ 为权的加权平均。
详情见书P032
贝叶斯公式
在全概率公式的假定下，有
$P(B_i|A)=P(AB_i)/P(A)=P(B_i)P(A|B_i)/\sum_jP(B_j)P(A|B_j)$
该公式之所以著名，在于其现实乃至哲理意义的解释上：先看 $P(B_1)$ ， $P(B_2)$ ，···，它是在没有进一步的信息（不知 $A$ 是否发生）的情况下，人们对诸事件 $B_1$ ， $B_2$ ，···发生的可能性大小的认识，现在有了新的信息（知道 $A$ 发生），人们对 $B_1$ ， $B_2$ ，···发生的可能性大小有了新的估价。
如果我们把事件 $A$ 看成结果，把诸事件 $P(B_1)$ ， $P(B_2)$ ，···看成导致这个结果的可能的原因，则可以形象的把全概率公式看作由原因推结果，而贝叶斯公式则恰好相反，其作用在于由结果推原因，现在有一个结果 $A$ 已经发生了，在众多可能的原因中，到底哪一个导致了这个结果。贝叶斯公式说，各原因可能性大小与 $P(B_i|A)$ 成比例。其后例题也有说明，详见书P033