スリーコインモデルのパラメータ導出を解くEMアルゴリズム

EMアルゴリズム

EM アルゴリズムは、潜在変数を含む確率モデルのパラメーター推定に使用される反復アルゴリズムです。アルゴリズムは、E ステップ (期待ステップ、期待ステップ) と M ステップ (最大化ステップ、最大化ステップ) の 2 つのステップを交互に行います。ステップ E では、現在のパラメータ推定値を使用して隠れ変数の事後確率が計算されます。ステップ M では、ステップ E で計算された隠れ変数の事後確率を使用して、完全なデータの対数尤度関数を最大化して取得します。新しいパラメータが推定されます。これら 2 つのステップは収束するまで繰り返されます。

EMアルゴリズムの一般的なプロセス

EM アルゴリズムは、反復を通じて$L\left(i\right)=ログ\_P(Y|\theta )$の最尤推定値各反復には 2 つのステップが含まれます$ステップE$、期待値を見つける、$M$ステップ、最大化を追求します。

入力: 観測変数データ$Y$、隠し変数データ$Z$、結合分布$P(Y,Z|\theta )$、定数$P(Z|やあ、\theta )$ ;
ターゲット出力: モデル パラメーター$私$。

反復手順は次のとおりです。
(1) パラメータ${私}^{\left(i\right)}$、反復を開始します;
(2)$\mathrm{E}$ 步: 记 ${私}^{(i)}$ 为第 $i$反復パラメータθ \thetai + 1 i+1における$\theta の推定値$$私+$E \mathrm{E}$(\; 1$回の反復)$E$ ᭥、関数
$$\begin{array}{rl}Q（私、{私}^{（私）}）& =E_{}\left[ログ\_P(Y,Z|私）|やあ、{私}^{（私）}\right]\\ & =\underset{Z}{}ログ\_P(Y,Z|i)P(Z|やあ、{私}^{\left(i\right)}\end{array}$$

具体的には、$P\left(Z|やあ、{私}^{\left(i\right)}\right)$は与えられた観測データ$Y$と現在のパラメーター推定値${私}^{\left(i\right)}$下位隠し変数データ$Z$の条件付き確率分布;
(3)$M$步: 求使$Q（私、{私}^{\left(i\right)}$最大θ \$シータ$$\theta$、$私+1$回の反復${私}^{(i+1)}$
$${私}^{(i+1)}=arg\_\underset{私}{}Q（私、{私}^{(i)})$$
(4) 用得出的${私}^{(i+1)}$を導入し、収束するまでステップ (2) と (3) を繰り返します。

スリーコインモデル

まず、EM アルゴリズムを使用した例を紹介します (Li Hang 教授の『統計学習法 (第 2 版、175 ページ)』より引用)。この例のパラメータがどのように取得されるかについては本では説明されていませんでしたので、更新しました。基本的かつ詳細な追加です。

例 9.1 ( 3 枚のコイン モデル) それぞれ A、B、C で示される 3 枚のコインがあると仮定します。これらのコインの表が現れる確率は、それぞれ$円周率、p$と$q$ . 次のコイン投げテストを実行します。最初にコイン$A$ 、その結果に従ってコイン B を選択します$B$またはコイン$C$、表の場合はコイン$B$、裏側のコイン$C$ ; 次に、選択したコインを投げます。コインを投げた結果は、表の場合は 1、裏の場合は 0 として記録されます。nn を$n$回の試行 (ここでは、$n=10$ ) の場合、観測結果は次のようになります。
$$1、1、0、1、0、0、1、0、1、1$$

コイン投げの結果しか観察できず、コイン投げのプロセスは観察できない、つまり、実験においてコイン A の表と裏がわからないとします。一連の実験データ、つまり 3 コイン モデルのパラメータに基づいて 3 コインの表の確率を推定する方法を尋ねます。

このモデルを数式を使って表現します

$$\begin{array}{r}P(と|私）=\underset{z}{}P(および、z|私）\\ =\underset{z}{}P(z|i\left)P\right(y|z、私\end{array}$$

$$\begin{array}{rl}& \{\begin{array}{l}p(と=1|私）=\pi p+(1-\pi )q、\text{ 正面を観察した }\\ p(と=0|私）=p(1-p)+(1-p)(1-q)、\end{array}\\ & だからp(y|私）=\pi p^y(1-p{)}^{1-y}+(1-円周率{）}^y{q}^y(1-q{)}^{1-y}、y\in \{0,1\end{array}$$

上記のモデルyyでは$y\; は$実験の最終観察結果が 1 または 0 であることを示し、確率変数$z$は、観測されていないコインAAを表す潜在変数です。$A$の結果は$私=(パイ、p、q)$はこのモデルのパラメータです。

観測データ$P\; (\; Y$ ∣ θ ) = ∑ ZP ( Z ∣ θ ) P ( Y ∣ Z , θ ) P(Y \mid \theta )
$$P(Y|私）=\underset{Z}{}P(Z|i\left)P\right(Y|Z、私）$$

$$P(Y|私）=\prod _{j=1}\left[\pi p^{y_{}}(1-p{)}^{1-y_{}}+(1-\pi \left)q^{y_{}}\right(1-q{)}^{1-y_{}}\right]$$

私たちの目標は、モデル パラメーター$私=(パイ、p、q)$標準値
$$\widehat{私}=\underset{私}{\mathrm{引数}}[ログ\_P(Y|私）]$$

この問題を解決するために、$EM$アルゴリズムは上記の 3 コイン モデルを解決します

条件付き期待値の知識ポイントを確認する

条件付き期待値とは、特定の条件が与えられた場合の確率変数の期待値の計算を指します。具体的には$X$和$Y$は 2 つの確率変数、$Y\; の$値の範囲は$y_{}、y_{}、\dots 、y_{}$、次に$Y$ 、 XXの条件の場合$X$の条件付き期待値$元\_\_|Y)$は次のように定義されます。

$$元\_\_|や）=\sum _{i=1}{バツ}_{}P(X_{}|や）$$

其中，${バツ}_{}$XXを意味します$X$在$Y=y_{}$, P ( X i ∣ Y ) P(X_i \mid Y)のときの値$P(X_{}|Y)$ Y = yi Y=y_iで表されます$Y=y_{}$この条件では、$X$取${バツ}_{}$確率。この式の意味は、各$y_{}$，计算在$Y=y_{}$この条件では、$X$の期待値 (すべてのiiに対する)$i\; を$合計しXX指定されたYYの$X$$Y$の条件での期待値。

EMアルゴリズム

ここでは、E ステップと M ステップの式を分解することに焦点を当てます。Mステップの後に得られるパラメータ$\theta \; は$次の反復ラウンドに進むことができます

Eステップ

上記のプロセスで$Q$関数（ここでは証明はしませんが、まずは使ってみましょう。Q関数の詳しい導出過程は記事末尾の参考記事をご覧ください）

$$\begin{array}{rl}Q（私、{私}^{（私）}）& =E_{}\left[ログ\_P(Y,Z|私）|やあ、{私}^{（私）}\right]\\ & =\underset{Z}{}ログ\_P(Y,Z|i)P(Z|やあ、{私}^{\left(i\right)}\end{array}$$

プロトタイプ$P\left(Z|やあ、{私}^{\left(i\right)}\right)$異なるzzz = 1 z=1
の場合の$z$逆アセンブリ$z=1$の場合、ベイズ公式を使用して推定します ($A$が前です。隠し変数$z=1$はyyを意味します$y$観察は$形式B$ )
$$\begin{array}{rl}P(z=1|よ、{私}^{（私）}）=\frac{P(z=1、よ、{私}^{\left(i\right)}}{P(および、{私}^{（私）}）}& =\frac{P(z=1)P(y,{私}^{（私）}|z=1}{{\sum }_{}P\left(z\right)P(y、{私}^{（私）}|z)}\\ & =\frac{P(z=1)p(y,{私}^{（私）}|z=1}{P(z=1)p(y,{私}^{（私）}|z=1)+P(z=0\left)p\right(y,{私}^{（私）}|z=0)}\\ & =\frac{\pi p^y(1-p{)}^{1-}}{\pi p^y(1-p{)}^{1-y}+(1-\pi \left)q^y\right(1-q{)}^{1-y}}\end{array}$$
同様に、$z=0$時
$$\begin{array}{rl}P(z=0|よ、{私}^{（私）}）=\frac{P(z=0、よ、{私}^{\left(i\right)}}{P(および、{私}^{（私）}）}& =\frac{P(z=0)P(y,{私}^{（私）}|z=0}{{\sum }_{}P\left(z\right)P(y、{私}^{（私）}|z)}\\ & =\frac{P(z=0)p(y,{私}^{（私）}|z=0}{P(z=1)p(y,{私}^{（私）}|z=1)+P(z=0\left)p\right(y,{私}^{（私）}|z=0)}\\ & =\frac{(1-\pi )q^y(1-q{)}^{1-}}{\pi p^y(1-p{)}^{1-y}+(1-\pi \left)q^y\right(1-q{)}^{1-y}}\end{array}$$
定義${メートル}^{（私）}=p(z=1|よ、{私}^{\left(i\right)})$は、 y の観測結果がコイン B から得られる確率 (A が正) を表し、コインが C から得られる確率 (A の結果が負) は$1-{メートル}^{\left(i\right)}$
このとき、$Q（私、{私}^{\left(i\right)})$関数関数
$$\begin{array}{rl}Q（私、{私}^{（私）}）& =E_{}\left[ログ\_P(Y,Z|私）|やあ、{私}^{（私）}\right]\\ & =\underset{Z}{}ログ\_P(Y,Z|i)P(Z|やあ、{私}^{（私）}）\\ & =ログ\_P(Y,Z=1|i)P(Z=1|やあ、{私}^{（私）}）+ログ\_P(Y,Z=0|i)P(Z=0|やあ、{私}^{（私）}）\\ & =ログ\_P(Z=1|i\left)P\right(Y|Z=1、私）\cdot {メートル}^{（私）}+ログ\_P(Z=0|i)P(Y|Z=0、私）\cdot (1-{メートル}^{（私）}）\\ & ={メートル}^{（私）}\cdot ログ\_\left[\pi p^y(1-p{)}^{1-y}\right]+(1-{メートル}^{（私）}）\cdot ログ\_\left[(1-\pi )q^y(1-q{)}^{1-y}\right]\\ & ={メートル}^{（私）}\left[ログ\_円周率+ログ\_p^y(1-p{)}^{1-y}\right]+(1-{メートル}^{（私）}）\cdot \left[\mathrm{ログ}\right(1\_-円周率）+ログ\_q^y(1-q{)}^{1-y}\end{array}$$

Mステップ

求使$Q（私、{私}^{\left(i\right)}$最大θ \$シータ$$\theta$、$i$回の反復${私}^{(i+1)}$。合計を$n\; 個$の観測値のグループ$y_{}、1\le j\le n$、次に$Q$関数は、 Q ' = ∑ jn Q ( θ , θ ( i ) ) Q^\prime=\sum_j^n Q\left(\theta, \theta^{(i)}\right) として表すことができ$Q^{』}={\sum }_j^{}Q（私、{私}^{（私）}）$。Q'Q^\プライムを見つける$Q^{\text{'}}$パラメータの最大化$私=(パイ、p、q)$ 、 Q ' Q^\primeとします$Q^{\text{'}}$の偏導関数は$0$、それぞれパラメータ$私=(パイ、p、q)$。

以下はπ \piを解く方法を示しています。$定義$:
$$\begin{array}{rl}\frac{\partial Q{\_}^{}}{\partial \pi }=\sum _j\frac{\partial Q}{\partial \pi }& =\sum _j\frac{}{\partial \pi }\left[m_j^{(私}\left[ログ\_円周率+ログ\_p^{y_{}}(1-p{)}^{1-y_{}}\right]+(1-{メートル}_j^{(私}）\cdot \left[\mathrm{ログ}(1\_-円周率）+ログ\_q^{y_{}}(1-q{)}^{1-y_{}}\right]\right]\\ & =\sum _j\frac{}{\partial \pi }\left[m_j^{(私}ログ\_円周率+(1-{メートル}_j^{(私}）\mathrm{ログ}(1\_-円周率）\right]\\ & =\sum _j\frac{{メートル}_j^{(私}}{円周率}+\frac{{メートル}_j^{(私}-}{1-円周率}=0\\ & =\sum _j(1-p)m_j^{(私}+円周率\left(m_j^{(私}-1\right)=0\\ & \sum _j{メートル}_j^{(私}=\sum _j\end{array}$$
即$$\sum _j{メートル}_j^{(私}=n\pi$$事$$円周率=\frac{}{n}\sum _j{メートル}_j^{(私}$$
同じ手順で、それぞれ${\sum }_j^{}\frac{\partial Q}{\partial p\_}=0$和${\sum }_j^{}\frac{\partial Q}{\partial q\_}=0$の場合、次の反復のすべてのパラメーターを見つけることができます$私=(パイ、p、q)$は、次の反復最適化ラウンドに進むことができます。

$$\begin{array}{rl}& \text{ 作る }\sum _j\frac{\partial Q}{\partial p\_}=0\\ & =\sum _j\frac{}{\partial p\_}\left[m_j^{(私}\left[ログ\_円周率+ログ\_p^{y_{}}(1-p{)}^{1-y_{}}\right]+(1-{メートル}_j^{(私}）\cdot \left[\mathrm{ログ}(1\_-円周率）+ログ\_q^{y_{}}(1-q{)}^{1-y_{}}\right]\right]\\ & =\sum _j\frac{}{\partial p\_}\left[m_j^{(私}\cdot ログ\_p^{y_{}}(1-p{)}^{(1-y_{})}\right]\\ & =\sum _j\frac{}{\partial p\_}[y_{}\cdot {メートル}_j^{(私}ログ\_p+{メートル}_j^{(私}(1-y_{}）\mathrm{ログ}(1\_-p)]\\ & =\sum _j\left[\frac{y_{}\cdot {メートル}_j^{(私}}{p}+\frac{{メートル}_j^{(私}\cdot (1-y_{}）\cdot (-1}{1-p}\right]=0\\ & =\sum _j{y}_{}\cdot {メートル}_j^{(私}-{メートル}_j^{(私}\cdot y_{}\cdot p+p\cdot y_{}\cdot {メートル}_j^{(私}-p\cdot {メートル}_j^{(私}=0\end{array}$$
即ち
$$\begin{gathered} \sum _j{y}_{}\cdot {メートル}_j^{(私}=\sum _{j}p\cdot {メートル}_j^{(私} \\ p=\frac{{\sum }_j^{}{y}_{}\cdot {メートル}_j^{(私}}{{\sum }_j^{}{メートル}_j^{(私}} \end{gathered}$$

次来
$$\begin{array}{rl}& \text{ 作る }\sum _j\frac{\partial Q}{q}=0\\ & =\sum _j\frac{}{\partial q\_}\left[m_j^{(私}\left[ログ\_円周率+ログ\_p^{y_{}}(1-p{)}^{1-y_{}}\right]+(1-{メートル}_j^{(私}）\cdot \left[\mathrm{ログ}(1\_-円周率）+ログ\_q^{y_{}}(1-q{)}^{1-y_{}}\right]\right]\\ & =\sum _j\frac{}{\partial q\_}\left[(1-{メートル}_j^{(私}）\cdot ログ\_q^{y_{}}+(1-{メートル}_j^{(私}）\cdot (1-y_{}）\cdot \mathrm{ログ}(1\_-q)\right]\\ & =\sum _j\frac{(1-{メートル}_j^{(私}）\cdot y_{}}{q}+\frac{(1-{メートル}_j^{(私}）\cdot (1-y_{}）\cdot (-1}{1-q}\\ & =\sum _j\left(y_{}\cdot (1-q)-{メートル}_j^{(私}\cdot y_{}(1-q)+q\cdot \left(y_{}-1\right)-q\cdot {メートル}_j^{(私}\cdot \left(y_{}-1\right)\right)\\ & =\sum _j\left(y_{}-y_{}\cdot q-{メートル}_j^{(私}\cdot y_{}+{メートル}_j^{(私}\cdot y_{}\cdot q+y_{}q-q-{メートル}_j^{(私}\cdot y_{}\cdot q+{メートル}_j^{(私}\cdot q\right)\\ & =\sum _j\left(y_{}-{メートル}_j^{(私}\cdot y_{}-q+{メートル}_j^{(私}\cdot q\right)\\ & \end{array}$$
つまり、
$$\begin{array}{r}\sum _j{y}_{}-{メートル}_j^{(私}\cdot y_{}=\sum _{j}q(1-{メートル}_j^{(私}）\\ q=\frac{{\sum }_j^{}(1-{メートル}_j^{(私}）\cdot y_{}}{{\sum }_j^{}(1-{メートル}_j^{(私}）}\end{array}$$

これまでに、パラメータ$私=(パイ、p、q)$それぞれ、
$$\begin{gathered} 円周率=\frac{}{n}\sum _j{メートル}_j^{(私} \\ p=\frac{{\sum }_j^{}{y}_{}\cdot {メートル}_j^{(私}}{{\sum }_j^{}{メートル}_j^{(私}} \\ q=\frac{{\sum }_j^{}(1-{メートル}_j^{(私}）\cdot y_{}}{{\sum }_j^{}(1-{メートル}_j^{(私}）} \end{gathered}$$

上記のパラメータとサンプルの反復関係では、
$$1、1、0、1、0、0、1、0、1、1$$
初期パラメータを設定します
$${円周率}^{\left(0\right)}=0.5、p^{\left(0\right)}=0.5、q^{\left(0\right)}=0.5$$
による${メートル}_j^{(私}$式は$y_{}=0$または$y_{}=1$，均一有${メートル}_j^{(1}=0.5\; 個の$
値π
$$\begin{array}{rl}{円周率}^{\left(1\right)}& =\frac{}{10}(m_1^{(0}+{メートル}_2^{(0}+{メートル}_3^{(0}\cdots +{メートル}_{10}^{(0}）\\ & =0.5\\ p^{\left(1\right)}& =\frac{y_{}\cdot {メートル}_1^{(0}+y_{}\cdot {メートル}_2^{(0}+y_{}\cdot {メートル}_3^{(0}+\cdots +y_{}\cdot {メートル}_{10}^{(0}}{(m_1^{(0}+{メートル}_2^{(0}+{メートル}_3^{(0}\cdots +{メートル}_{10}^{(0}）}\\ & =\frac{6\times }{10\times 0.5}\\ & =0.6\\ q^{\left(1\right)}& =\frac{(1-{メートル}_1^{(0}）\cdot y_{}+(1-{メートル}_2^{(0}）\cdot y_{}\cdots +(1-{メートル}_{10}^{(0}）\cdot y_{}}{(1-{メートル}_1^{(0}）+(1-{メートル}_2^{(0}）+\cdots +(1-{メートル}_{10}^{(0}）}\\ & =\frac{6\times }{10-0.5\times 10}=\end{array}$$
繰り返しを続けることで、最終的なパラメータ$私=(パイ、p、qの最終値は、$ 3 コイン モデルです。

Pythonコードを使用して実験シミュレーションを実施し、効果があるかどうかを確認します

以下は、実験データを生成し、EM アルゴリズムを使用してパラメーターを推定するために使用されるコードです。推定されたパラメーターを使用して複数のシミュレーション実験を実行し、モデルの予測能力をテストします。

import random
import numpy as np
import time
def coin_experiment(pi, p, q, n):
    """
    模拟掷硬币实验
    pi: 硬币 A 正面出现的概率
    p: 硬币 B 正面出现的概率
    q: 硬币 C 正面出现的概率
    n: 实验次数
    """
    results = []
    results_A = []
    results_B = []
    results_C = []
    for i in range(n):
        # 先掷硬币 A
        if random.random() < pi:
            # 选硬币 B
            coin = 'B'
            p_head = p
        else:
            # 选硬币 C
            coin = 'C'
            p_head = q
        
        # 接着掷选出的硬币
        if random.random() < p_head:
            results.append(1)
        else:
            results.append(0)
        
        # 记录每个硬币的正反面
        if coin == 'B':
            if random.random() < p:
                results_B.append(1)
            else:
                results_B.append(0)
            results_A.append(1)
        else:
            if random.random() < q:
                results_C.append(1)
            else:
                results_C.append(0)
            results_A.append(0)
    
    # 计算 A、B、C 硬币的正面概率
    p_A = sum(results_A) / len((results_A))
    p_B = sum(results_B) / len(results_B)
    p_C = sum(results_C) / len(results_C)
    
    return results, p_A, p_B, p_C


pi = 0.2
p = 0.3
q = 0.8
n = 100000
s=time.time()
print(f'开始模拟，模拟参数为pi={
      
      pi},p={
      
      p},q={
      
      q}……')
Y,pi,p,q=coin_experiment(pi, p, q, n)
Y= np.array(Y)
print(f'模拟结束，共模拟{
      
      n}次，耗时{
      
      time.time()-s}……')
print(f"模拟结果，pi={
      
      pi},p={
      
      p},q={
      
      q},整体实验Y=1概率={
      
      sum(Y)/len(Y)}")

#EM参数反推，任意设定初始参数
pi_0 = 0.9
p_0 = 0.8
q_0 = 0.9
epsiodes=1000 #迭代次数
count=1
while count<=epsiodes:
    mu = pi_0 * p_0**Y * (1-p_0)**(1-Y) / (pi_0 * p_0**Y * (1-p_0)**(1-Y) + (1-pi_0) * q_0**Y * (1-q_0)**(1-Y))
    pi=(1/n)*sum(mu)
    p=sum(Y*mu)/sum(mu)
    q=sum((1-mu)*Y)/sum(1-mu)
    if count%100==0:
        print(f"第{
      
      count}次迭代，估算参数分别为：pi={
      
      pi},p={
      
      p},q={
      
      q}")
    pi_0 = pi
    p_0 = p
    q_0 = q
    count+=1

#用拿到的估计参数重新模拟下
s=time.time()
print(f'二次模拟检验，模拟参数为pi={
      
      pi},p={
      
      p},q={
      
      q}……')
Y,pi,p,q=coin_experiment(pi, p, q, n)
Y= np.array(Y)
print(f'模拟结束，共模拟{
      
      n}次，耗时{
      
      time.time()-s}……')
print(f"模拟结果，pi={
      
      pi},p={
      
      p},q={
      
      q},整体实验Y=1概率={
      
      sum(Y)/len(Y)}")

実験を観察し、設定した初期値 pi = 0.2、p = 0.3、q = 0.8 に従って 100,000 回の実験を実行します。

シミュレーション プロセス中, pi, p, q は設定した値に非常に近かったです. 実験は実際にこれらのパラメータに従って行われました. 全体的な実験結果 y=1 の確率は 0.696 でした. 最後にパラメータ pi は= 0.91 は EM アルゴリズムの 1000 回の反復後に得られました。p = 0.68、q = 0.83。これらはモデルの実際のパラメーターとは大きく異なりますが、これらのパラメーターを使用して新たに 100,000 回の実験を実施しました。最終的な全体的な実験結果は次のとおりです。 y=1 の確率は 0.6983 で、これは実際のモデルの結果に非常に似ており、より正確なシミュレーションが実現され、モデルは効果的です。

参考文献

[1]. EMアルゴリズムのQ関数の導出過程の詳細説明