概率论的基本概念

确定事件：
有一类现象，在一定条件下必然发生
统计性规律：
在大量重复试验或观察中所体现出的固有性规律
随机现象：
在个别试验中其结果呈现出不确定，在大量重复试验中其结果又具有统计规律性的现象

随机试验

随机试验的三个特点

$1^{\ \circ}$可以在相同条件下重复
$2^{\ \circ}$每次试验的可能结果不止一个，并且能事先明确试验的所有可能结果
$3^{\ \circ}$进行一次试验之前不能确定那一个结果

样本空间，随机事件

样本空间

对于随机试验，尽管在每次试验之前不能预知试验的结果，到那时试验的所有可能结果组成的集合是已知的。
我们将随机试验$E$的所有可能结果组成的集合称为$E$的样本空间，即为$S$。样本空间的元素，即$E$的每个结果，称为样本点。

随机事件

一般，我们称试验$E$的样本空间$S$的子集为$E$的随机事件，简称事件。在每次试验中，当且仅当这一子集中的一个样本点出现时，称这一事件发生。

特别当一个样本点组成的单点集，称为基本事件

样本空间$S$包含所有的样本点，它是$S$自身的子集，在每次试验中，它总是发生，则$S$称为必然事件。空集$\varnothing$不包含任何样本点，它也作为样本空间的子集，它在每次试验中都不发生，$\varnothing$称为不可能事件

事件间的关系与事件的运算

设试验$E$的样本空间为$S$，而$A,B,A_k(k=1,2,\cdots)$是$S$的子集。
$1^{\circ}$ 若$A\subset B$，则称事件$B$包含事件$A$，这里指的是事件$A$发生必然导致事件$B$的发生
若$A\subset B$且$B\subset A$,即$A=B$，则称事件$A$与事件$B$相等

$A\subset B$

$2^{\circ}$ 事件 $A\cup B=\{x\mid x\in A或 x\in B\}$称为事件 $A$与事件 $B$的 和事件。当且仅当 $A,B$中至少有一个发生时，事件 $A\cup B$发生
类似地，称 $\mathop{\bigcup}\limits_{k=1}^{n}A_k$为 $n$个事件 $A_1,A_2,\cdots,A_n$的和事件；称 $\mathop{\bigcup}\limits_{k=1}^{\infty}A_k$为可列个事件 $A_1,A_2,\cdots$的和事件。


$A\cup B$

$3^{\circ}$ 事件 $A\cap B=\{x\mid x\in A 且 x\in B\}$称为事件 $A$与事件 $B$的 积事件 .当且仅当 $A,B$同时发生时，事件 $A\cap B$发生。 $A\cap B$也记作 $AB$
类似地，称 $\mathop{\bigcap}\limits_{k=1}^{n}A_k$为 $n$个事件 $A_1,A_2,\cdots,A_n$的积事件；称 $\mathop{\bigcap}\limits_{k=1}^{\infty}A_k$为可列个事件 $A_1,A_2,\cdots$的积事件。


$A\subset B$

$4^{\circ}$ 事件 $A-B=\{x\mid x\in A且x\notin B\}$称为事件 $A$与事件 $B$的 差事件。当且仅当事件 $A$发生、 $B$不发生时事件 $A-B$发生


$A-B$

$5^{\circ}$ 若 $A\cap B=\varnothing$,则称事件 $A$和 $B$是 互不相容的，或者互斥的，这里指的是事件 $A$与事件 $B$不能同时发生，基本事件都是两两不相容的。


$A\cap B$

$6^{\circ}$
若 $A\cup B=S$且 $A\cap B=\varnothing$，则称事件 $A$与事件 $B$互为 逆事件。又称事件 $A$与事件 $B$互为对立事件。这里指的是对每次试验而言，事件 $A、B$中必然有一个发生，且仅有一个发生。 $A$的对立事件记为 $\bar{A},\bar{A}=S-A$


$B\cup\bar{B}=S,B\cap\bar{B}=\varnothing$

事件运算法则：

交换律：
$$\begin{aligned} A\cup B=B\cup A\\ A\cap B=B\cap A \end{aligned}$$
结合律：
$$\begin{aligned} A\cup(B\cup C)&=(A\cup B)\cup C\\ A\cap(B\cap C)&=(A\cap B)\cap C \end{aligned}$$
分配率：
$$\begin{aligned} A\cup(B\cap C)&=(A\cup B)\cap(A\cup C)\\ A\cap(B\cup C)&=(A\cap B)\cup(A\cap C) \end{aligned}$$
德摩根律：
$$\begin{aligned} \overline{A \cup B} &= \overline{A} \cap \overline{B} \\ \overline{A \cap B} &= \overline{A} \cup \overline{B} \end{aligned}$$

频率和概率

频率

定义：
在相同条件下，进行了$n$次试验，在这$n$次试验中，事件$A$发生的次数$n_A$称为事件$A$发生的频数。比值$n_A/n$称为事件$A$发生的频率，并记成$f_n(A)$

频率具有下列基本性质：

$1^{\circ}$,$0\leq f_n(A)\leq 1$
$2^{\circ}$,$f_n(S)=1$
$3^{\circ}$,若$A_1,A_2,\cdots,A_k$是两两互不相容的事件，则

$$f_n(A_1\cup A_2\cup\cdots\cup A_k)=\\f_n(A_1)+f_n(A_2)+\cdots+f_n(A_k)$$

概率

定义：
设$E$是随机试验，$S$是它的样本空间。对于$E$的每一事件$A$赋予一个实数，记为$P(A)$，称为事件$A$的概率，如果有集合函数$P(\cdot)$满足下列条件：
$1^{\circ}$非负性：
对于每一个事件$A$,有$P(A)\geq0$
$2^{\circ}$规范性：
对于必然事件$S$,有$P(S)=1$
$3^{\circ}$可列可加性：
设$A_1,A_2,\cdots$是两两互不相容的事件，即对$A_iA_j=\varnothing,i\neq j;i,j=1,2,\cdots$有

$$P(A_1\cup A_2\cup \cdots)=P(A_1)+P(A_2)+\cdots.$$

一些重要性质

性质$i$

$$P(\varnothing)=0$$

性质$ii$(有限可加性)
若 $A_1,A_2,\cdots,A_n$是两两不相容的事件，则有
$$P(A_1\cup A_2\cup\cdots \cup A_n)=P(A_1)+P(A_2)+\cdots+P(A_n)$$

性质$iii$
设$A,B$是两个事件，若$A\subset B$,则有

$$\begin{aligned}P(B-A)&=P(B)-P(A)\\ P(B)&\geq P(A) \end{aligned}$$

性质$iv$
对任一事件 $A$,
$$P(A)\leq 1$$

性质$v$(逆事件概率)
对于任一事件$A$，有

$$P(\overline{A})=1-P(A)$$

性质$vi$(加法公式)
对于任意两个事件$A，B$，有

$$P(A\cup B)=P(A)+P(B)-P(AB)$$

等可能概型（古典概型）

特点：
$1^{\circ}$，试验的样本空间只包含有限个元素
$2^{\circ}$，试验中每个基本事件发生的可能性相同
具有以上两个特点的试验是大量存在的，这种试验称为等可能概型。它在概率论发展初期曾是主要的研究对象，所以也称为古典概型。

设试验样本空间$S=\{e_1,e_2,\cdots,e_n\}$，由于在试验中每个事件发生的可能性相同，即有

$$P(\{e_1\})=P(\{e_2\})=\cdots=P(\{e_n\})$$
又由于基本事件是 两两互不相容的，于是：
$$\begin{aligned} 1=P(S)&=P(\{e_1\}\cup\{e_2\}\cup\cdots\cup\{e_n\})\\ &=P(\{e_1\})+P(\{e_2\})+\cdots+P(\{e_n\})=nP(\{e_i\})\\ &P(\{e_1\})=\dfrac{1}{n},\quad i=1,2,\cdots,n. \end{aligned}$$
若事件 $A$包含 $k$个基本事件，即 $A=\{e_{i_1}\}\cup\{e_{i_2}\}\cup\cdots\cup\{e_{i_k}\}$,这里 ${i_1},{i_2},\cdots,{i_k}$是 $1,2,\cdots,n$中 $k$个不同的数，则有
$$P(A)=\sum_{j=1}^{k}P(\{e_{i_j}\})=\dfrac{k}{n}=\dfrac{A\text{包含的基本事件数}}{S\text{中基本事件的总数}}$$

条件概率

考虑的是事件$A$已经发生的条件下事件$B$发生的概率。
定义：
设$A,B$两个事件，且$P(A)>0$称

$$P(B\mid A)=\dfrac{P(AB)}{P(A)}$$
为在事件 $A$发生的条件下，事件 $B$发生的 条件概率
条件概率 $P(\cdot\mid A)$复合概率定义中的三个条件：
$1^{\circ}$非负性：
对于每一个事件 $B$,有 $P(B\mid A)\geq0$
$2^{\circ}$规范性：
对于必然事件 $S$,有 $P(S\mid A)=1$
$3^{\circ}$可列可加性：
设 $B_1,B_2,\cdots$是两两互不相容的事件， $$P(\bigcup_{i=1}^{\infty}B_i\mid A)=\sum_{i=1}^{\infty}P(B_i\mid A)$$
乘法定理
设 $P(A)>0$则有
$$P(AB)=P(B\mid A)P(A)$$
此公式称为 乘法定理
全概率公式和贝叶斯公式
设试验 $E$的样本空间为 $S$， $A$为 $E$的事件， $B_1,B_2,\cdots,B_n$为 $S$的一个划分，且 $P(B_i)>0(i=1,2,\cdots,n)$,则
$$P(A)=P(A\mid B_1)P(B_1)+P(A\mid B_2)P(B_2)+\cdots+P(A\mid B_n)P(B_n)$$
上式称为 全概率公式

在很多实际问题中$P(A)$不易直接求得，但却很容易找到$S$的一个划分$B_1,B_2,\cdots,B_n$,且$P(B_i)$和$P(A\mid B_i)$或为已知，或容易求得，那么可以用全概率公式求出$P(A)$.

$$\begin{aligned} P(A)&=P(AB_1)+P(AB_2)+\cdots+P(AB_n)\\ &=P(A\mid B_1)P(B_1)+P(A\mid B_2)P(B_n)+\cdots+P(A\mid B_n)P(B_n)\\ \end{aligned}$$

贝叶斯公式：
定理：
设试验$E$的样本空间为$S$，$A$为$E$的事件，$B_1,B_2,\cdots,B_n$为$S$的一个划分，且$P(A)>0,P(B_i)>0(i=1,2,\cdots,n)$,则

$$\begin{aligned} P(B_i\mid A)=\dfrac{P(A\mid B_i)P(B_i)}{\sum_{j=1}^{n}P(A\mid B_j)P(B_j)},\quad i=1,2,\cdots,n.\end{aligned}$$
则上式称为 贝叶斯公式：。
先验概率和后验概率
由以往数据分析得到的概率叫做 先验概率
在得到信息之后再重新加以修正的概率叫做 后验概率

独立性

定义：
设$A,B$是两事件，如果满足等式

$$P(AB)=P(A)P(B)$$
则称事件 $A,B$ 相互独立，简称 $A,B$ 独立
容易知道，若$P(A)>0,P(B)>0$，则$A,B$互相独立与$A,B$互不相容不能同时成立
相关定理：
定理一
设 $A,B$是两事件，且 $P(A)>0$,若 $A,B$相互独立，则 $P(B\mid A)=P(B)$反之亦然。
定理二
若事件 $A$与事件 $B$相互独立，则下列各对事件也互相独立
$$A与\overline{B},\overline{A}与B,\overline{A}与\overline{B}$$
定义：
设 $A,B,C$是三个事件，如果满足等式
$$\left.\begin{aligned} P(AB)&=P(A)P(B)\\ P(BC)&=P(B)P(C)\\ P(AC)&=P(A)P(C)\\ P(ABC)&=P(A)P(B)P(C)\\ \end{aligned}\right\}$$
则称事件 $A,B,C$相互独立
一般的，设$A_1,A_2,\cdots,A_n$是$n(n\geq2)$个事件，如果对于其中任意2个，3个，$\cdots$,任意$n$个事件的积事件的概率，都等于各事件概率之积，则称事件$A_1,A_2,\cdots,A_n$相互独立