似然（Likelihood）

1.似然与概率

非正式场合，似然（likelihood function/likelihood）与概率（probability）几乎是一对同义词，但统计学中概念不同。

• 似然：已知结果，预测产生该结果的可能环境参数，如： $L(\theta|x)$。
• 概率：已知环境参数，预测发生某种结果可能性，如： $P(x|\theta)$。
  其中：
  $x$：结果。
  $\theta$：环境参数。

当结果与环境参数相互对应时，似然的值=概率的值，即： $L(\theta|x) = P(x|\theta)$。

2.似然函数的最大值

• 似然函数值大含义：在该环境参数 $\theta$下产生该结果 $x$的可能性大。
• 最大值求法：似然函数对环境参数 $\theta$求导，导数等于0处似然值最大。
• 最大似然估计（MLE）：似然求导，导数为0时的环境参数 $\theta$。
• 问题：n元变量，多项乘积求导难。

3.对数化似然函数

$L=\prod_{i=1}^N{p_i}$
$\log(L)=\log(\prod_{i=1}^N{p_i})=\sum_{i=1}^N\log(p_i)$

• 意义：便于求导。
• 问题：复杂问题，隐变量难求导。

4.EM算法

• 意义：求含有隐变量时，似然最大环境变量。
• EM算法（Expectation-maximization algorithm，最大期望算法/期望最大化算法）步骤：

1. 计算期望（E）：利用隐变量现有估计值，计算其最大似然估计值；
2. 最大化（M）：最大化E步上求得的最大似然值 ，计算参数值。
3. M步上找到的参数估计值用于下一个E步计算中，这个过程不断交替进行。

5.似然比检验

• 似然比检验（likelihood ratio test, LRT）含义：检验 某个假设（或约束） 是否有效。
• 思想：加上有效约束 不应引起 似然函数的最大值的大幅度降低。
• 实质：比较有约束条件下的似然函数最大值 与 无约束条件下的似然函数最大值（比值 符合卡方分配）。
• 基本思想：

1. 已知：来自密度函数 $f(X；\theta)$总体的 n个观察值（ $x_1$， $x_2$，…， $x_n$）组成随机样本； $\theta$为未知参数。
2. 假设：
   $H_0$： $\theta=\theta_0$
   $H_1$： $\theta\neq\theta_0$
   $\alpha$：检验水准
   $\lambda=\frac{似然函数在\theta=\theta_0处的值}{似然函数在\theta=\theta(极大点)处的值}$（服从卡方分布）
3. 统计推断：
   当 $\lambda\leq\lambda_0$时，拒绝 $H_0$，
   当 $\lambda>\lambda_0$时，不拒绝 $H_0$。
   其中， $P(\lambda\leq\lambda_0)=\alpha$。

参考：似然比检验 LRT