伯努利模型的极大似然估计和贝叶斯估计

  定义随机变量A为一次伯努利试验的结果， $A$的取值为[0,1]，概率分布为 $P(A)$: $P(A=1)=\theta\\P(A=0)=1-\theta$下面分别使用极大似然估计和贝叶斯估计来估计 $\theta$。

1. 极大似然估计
   $L(\theta) = \prod_{i=1}^{n}P(A_i) = \theta^k(1-\theta)^{n-k}$

$A_i$代表第 $i$次随机试验

$\begin{aligned} logL(\theta)&=log\prod_{i=1}^{n}P(A_i) = log\theta^k + log(1-\theta)^{n-k}\\ &=klog\theta+(n-k)log(1-\theta) \end{aligned}$
对公式两边同时求导，并求当导数等于零时的 $\theta$值，如下
$\dfrac{\partial{L(\theta)}}{\partial{\theta}}=k·\dfrac{1}{\theta} + (n-k)·\dfrac{-1}{1-\theta}$
$令\dfrac{\partial{L(\theta)}}{\partial{\theta}}=0$，可得 $\theta=\dfrac{k}{n}$。此时 $\theta$满足 $\theta = \mathop{\arg\max} \limits_{\theta}L(\theta)$。

2. 贝叶斯估计
   $P(\theta |A_1,A_2,\dots,A_n)=\dfrac{P(A_1,A_2,\dots,A_n|\theta)·\pi(\theta)}{P(A_1,A_2,\dots,A_n)}$

  根据观察到的结果修正 $\theta$,也就是假设 $\theta$是随机变量， $\theta$服从 $\beta$分布，有很多可能取值，我们要取的值是在已知观察结果的条件下使 $\theta$出现概率最大的值。
$\begin{aligned} \theta&=\mathop{\arg\max} \limits_{\theta} \ P(A_1,A_2,\dots,A_n|\theta)·P(\theta) \\ &=\mathop{\arg\max} \limits_{\theta} \prod P(A_i|\theta)P(\theta)\\ &=\mathop{\arg\max} \limits_{\theta} \theta^k(1-\theta)^{n-k}\theta^{a-1}(1-\theta)^{b-1} \end{aligned}$

求解同上，得 $\theta = \dfrac{k+(a-1)}{n+(a-1)+(b-1)}$,其中 $a,b$是 $\beta$分布中的参数 $\beta(\theta;a,b)=\dfrac{\theta^{a-1}(1-\theta)^{b-1}}{C}$, $C$为常数，选定 $a,b$后就可以确定 $\theta$。