概率论与随机过程

标签（空格分隔）：机器学习基础

一、概率与分布

1.1条件概率与独立事件

1.条件概率：已知 $A$ 事件发生的条件下 $B$ 发生的概率，记作 $P(B|A)$ ，它等于事件 $AB$ 的概率相对于事件 $A$ 的概率，即：

$P(B|A) = = \frac{P(AB)}{P(A)}$
其中必须有 $P(A) > 0$ 。

2.条件概率分布的链式法则：对于 $n$ 个随机变量 $X_{1},X_{2},...,X_{n}$ ，有：
$P(X_{1},X_{2},...,X_{n}) = P(X_{1}) \prod_{i=2}^{n}P(X_{i}|X_{1},...,X_{i-1})$

3.两个随机变量 $x,y$ 相互独立的数学描述：
$\forall x \in X, \forall y \in Y, P(X =x,Y=y) = P(X=x)P(Y=y)$
记作： $x \perp y$ 。

4.两个随机变量 $x,y$ 关于随机变量 $z$ 条件独立的数学描述：

$\forall x \in X, \forall y \in Y, \forall z \in Z$ $P(X=x,Y=y|Z=z) = P(X=x|Z=z)P(Y=y|Z=z)$
记作： $x \perp y | z$ 。

1.2联合概率分布

1.定义 $x$ 和 $y$ 的联合分布为：
$P(a,b) = P\left \{ x \leqslant a, y \leqslant b \right \}, -\infty < a,b < + \infty .$

2. $x$ 的分布可以从联合分布中得到：
$P_{x}(a) = P\left \{x \leqslant a \right \} = P\left \{ x \leqslant a, y \leqslant \infty \right \} = P(a, \infty), - \infty < a < + \infty .$
类似的， $y$ 的分布可以从联合分布中得到：
$P_{y}(b) = P\left \{y \leqslant b \right \} = P\left \{ x \leqslant \infty, y \leqslant b \right \} = P(\infty , b), - \infty < b < + \infty .$

3.当 $x$ 和 $y$ 都是离散随机变量时，定义 $x$ 和 $y$ 的联合概率质量函数为：
$p(x,y) = P\left \{ X=x, Y=y\right \}$
则 $x$ 和 $y$ 的概率质量函数分布为：
$p_{x}(x) = \sum _{y:p(x,y) > 0} p(x,y)$ $p_{y}(y) = \sum _{x:p(x,y) > 0} p(x,y)$

4.当 $x$ 和 $y$ 联合地连续时，即存在函数 $p(x,y)$ ，使得对于所有的实数集合 $A$ 和 $B$ 满足：
$P\left \{ x \in A, y \in B\right \} = \int_{B} \int_{A}p(x,y)dxdy$
则函数 $p(x,y)$ 称为 $x$ 和 $y$ 的概率密度函数。

扫描二维码关注公众号，回复： 3698464 查看本文章

联合分布为：
$P(a,b) = P\left \{ x \leqslant a, y \leqslant b \right \} = \int_{-\infty}^{a} \int _{-\infty}^{b} p(x,y)dxdy$
$x$ 和 $y$ 的概率密度函数以及分布函数分别为：
$P_{x}(a) = \int_{-\infty}^{a} \int_{-\infty}^{\infty}p(x,y)dxdy = \int_{-\infty}^{a}p_{x}(x)dx$
$P_{y}(b) = \int_{-\infty}^{\infty} \int_{-\infty}^{b}p(x,y)dxdy = \int_{-\infty}^{b}p_{y}(y)dy$
$p_{x}(x) = \int_{-\infty}^{\infty}p(x,y)dy$
$p_{y}(y) = \int_{-\infty}^{\infty}p(x,y)dx$

二、期望

1.期望：（是概率分布的泛函，函数的函数）

离散型随机变量 $x$ 的期望：
$E[x] = \sum_{i=1}^{\infty}x_{i}p_{i}$
若级数不收敛，则期望不存在。
连续性随机变量 $x$ 的期望：
$E[x] = \int_{-\infty}^{\infty}xp(x)dx$
若极限不收敛，则期望不存在。

2.期望描述了随机变量的平均情况，衡量了随机变量 $x$ 的均值。

3.定理：设 $y = g(x)$ 均为随机变量， $g(·)$ 是连续函数：

若 $x$ 为离散型随机变量，若 $y$ 的期望存在，则：
$E[y] = E[g(X)] = \sum _{i=1}^{\infty}g(x_{i})p_{i}$
若 $x$ 为连续性随机变量，若 $y$ 的期望存在，则：
$E[y] = E[g(X)] = \int_{-\infty}^{\infty}g(x)p(x)dx$

该定理的意义在于：当求 $E(y)$ 时，不必计算出 $y$ 的分布，只需要利用 $x$ 的分布即可。该定理可以推广至两个或者两个以上随机变量的情况。此时：
$E[Z] = E[g(x,y)] = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} g(x,y)p(x,y)dxdy$
上述公式也记作：
$E_{x\sim P}[g(x)] = \sum_{x}g(x)p(x)$ $E_{x\sim P}[g(x)] = \int g(x)p(x)$ $E_{x,y\sim P}[g(x)] = \int g(x,y)p(x,y)dxdy$

4.期望性质：

常数的期望就是常数本身。
对常数 $C$ 有：
$E[Cx] = CE[x]$
对两个随机变量 $x,y$ ，有：
$E[x + y] = E[x] + E[y]$
该结论可以推广到任意有限个随机变量之和的情况。
对两个相互独立的随机变量，有：
$E[xy] = E[x]E[y]$
该结论可以推广到任意有限个相互独立的随机变量之积的情况。

三、方差

3.1 方差

1.对随机变量 $X$ ，若 $E[(X - E[X])^{2}]$ 存在，则称它为 $X$ 的方差，记作 $Var[X]$ 。 $X$ 的标准差为方差的开平方。
即：
$Var[X] = E[(X - E[X])^{2}]$
$\sigma = \sqrt {Var[X]}$

方差度量了随机变量 $X$ 与期望值偏离的程度，衡量了 $X$ 取值分散程度的一个尺度。
由于绝对值 $|X - E(X)|$ 带有绝对值，不方便运算，因此采用平方来计算。又因为 $|X-E(X)|^{2}$ 是一个随机变量，因此对它取期望，即得 $x$ 与期望值偏离的均值。

2.根据定义可知：
$Var[x] = E[(X - E[X])^{2}] = E[X^{2}] - (E[X])^{2}$ $Var[f(X)] = E[(f(X) - E[f(X)])^{2}]$

3.对于一个期望为 $\mu$ ,方差为 $\sigma ^{2}, \sigma \neq 0$ 的随机变量 $X$ ，随机变量 $X^{*} = \frac{x - \mu}{\sigma}$ 的数学期望为 $0$ , 方差为 $1$ 。称 $X^{*}$ 为 $X$ 的标准化变量。

4.方差的性质：

常数的方差恒为 $0$ 。
对常数 $C$ 有 $Var[Cx] = C^{2}Var[x]$
对两个随机变量 $x,y$ ，有： $Var[x + y] = Var[x] + Var[y] + 2E[(x - E[x])(y - E[y])]$
当 $x$ 和 $y$ 相互独立时，有 $Var[x + y] = Var[x] + Var[y]$ 。可以推广至任意有限多个相互独立的随机变量之和的情况。
$Var[x] = 0 $ 的充要条件是 $x$ 以概率 $1$ 取常数。