极大似然估计求解多项式分布参数

本文作者：合肥工业大学 管理学院 钱洋 email：[email protected] 内容可能有不到之处，欢迎交流。

未经本人允许禁止转载。

原因

今天晚上，老师在看LDA数学八卦的时候，问我一个问题，如下图所示：

这个多项式分布的参数，采用极大估计是怎么求的呢?当时想了想还真不知道，于是在网上找了资料，学习了一下，特此记录。

公式推导

很多情况下，假定一个变量$X$有$k$个状态，其中$k>2$,每个状态假定的可能性为$p_{1},p_{2},\cdots ,p_{k}$，且$\sum _{i=1}^{k}p_{i}=1$,独立进行$n$次实验，用$n_{1},n_{2},\cdots ,n_{k}$表示每个状态发生的次数，发生的次数服从多项式分布：

$$p\left ( n_{1},n_{2},\cdots ,n_{k}|p_{1},p_{2},\cdots ,p_{k} \right )=\frac{n!}{\prod _{i=1}^{k}n_{i}!}\prod _{i=1}^{k}p_{i}^{n_{i}}$$

下面采用极大似然求解：

$$L\left ( p_{1},p_{2},\cdots ,p_{k} \right )=log\left (\frac{n!}{\prod _{i=1}^{k}n_{i}!}\prod _{i=1}^{k}p_{i}^{n_{i}} \right )$$
$$=log\left ( n! \right )-\sum _{i=1}^{k}logn_{k}!+\sum _{i=1}^{k}logp_{k}$$

对于有约束条件的极值求解问题可使用拉格朗日乘法：

$$Lagrange\left ( p_{1},p_{2},\cdots ,p_{k},\lambda \right )=L\left ( p_{1},p_{2},\cdots ,p_{k} \right )-\lambda\left ( \sum _{i=1}^{k}p_{i}-1 \right )$$

求导(计算梯度)：

$$\frac{\partial Lagrange\left ( p_{1},p_{2},\cdots ,p_{k},\lambda \right )}{\partial p_{i}}=\frac{n_{i}}{p_{i} }-\lambda$$

进而有：

$$p_{i}=\frac{n_{i}}{\lambda }$$

由于

$$\sum _{i=1}^{k}\frac{p_{i}}{\lambda }=1$$

得到：

$$\lambda=n$$

进而有：

$$\hat{p_{i}}=\frac{n_{i}}{n}$$