机器学习基础概率论知识——学习笔记

期望方差

期望

$E(\boldsymbol x)=\sum x_ip(x_i)$
$E(x)=\int_{-\infty}^{\infty}xf(x)dx$

方差

$D(x)=E((x-E(x))^2)=E(x^2)-E(x)^2$

协方差

$cov(x_1,x_2)=E((x_1-E(x_1))*(x_2-E(x_2)))$
$cov(x_1,x_2)=E(x_1x_2)-E(x_1)E(x_2)$

常用概率分布

高斯分布

$N(\mu,\sigma^2)=\frac{1}{\sqrt{2\pi}\sigma}\exp\{ -\frac{(x-\mu)^2}{2\sigma^2} \}$
$E(x)=\mu$
$D(x)=\sigma^2$
其中正态分布： $N(0,1)$

均匀分布

$U(a,b)=\begin{cases} \quad \frac{1}{b-a} \quad a\leq x\leq b\\ \quad 0 \quad \quad x<a,x>b \end{cases}$
$E(x)=\frac{a+b}{2}$
$D(x)=\frac{(b-a)^2}{12}$

二项分布

$\begin{cases} \quad P(x=1)=p\\ \quad P(x=0)=1-p \end{cases}$
$E(x)=p$
$D(x)=p(1-p)$

伯努利分布

$B(n,p)=p^{x}(1-p)^{n-x}$
$E(x)=np$
$D(x)=np(1-p)$
伯努利分布是n重二项分布

条件概率

$P(x|y)=\frac{P(x,y)}{P(y)}=\frac{P(y|x)P(x)}{P(y)}$

贝叶斯公式

$P(B_i|A)=\frac{P(B_i)P(A|B_i)}{\sum_{i=1}^NP(B_i)*P(A|B_i)}$
一个简单的例子，一个月有30天，其中多云的天气有15天，下雨有6天。其中在多云天下雨的有3天，求下雨天多云的概率？
$\begin{cases} \quad P(云)=0.5\\ \quad P(雨)=0.2\\ \quad P(雨|云)=0.2 \end{cases}$
$P(云|雨)=\frac{P(雨|云)P(云)}{P(雨)}=0.5$

最大似然估计

$L(\theta)=\prod p(x_i;\theta)$
求出上面似然函数的最大值既是最大似然估计。
一个简单的例子，有一个口袋里面装了大量的白球和黑球，我们从中取出10个，分别有6个白球和4个黑球，此时我们要求摸到白球的概率。
$\begin{cases} \quad P(白)=\theta\\ \quad P(黑)=1-\theta \end{cases}$

$L(\theta)=\theta^6(1-\theta)^4$
$\frac{dL(\theta) }{d\theta}=6\theta^5(1-\theta)^4-4\theta^6(1-\theta)^3=0$
$\Rightarrow\theta=0.6$