统计推断(十) Elimination algorithm

1. Elimination algorithm

• 主要目的是为了计算边缘分布

• Reconstituted graph: 若消去的随机变量为 $x_k$，则所有与 $x_k$ 连接的随机变量会形成一个新的 clique

  

• 复杂度

  • Brute-force marginalization： $O\left(|\mathcal{X}|^N\right)$
  • Zig-zag elimination： $O\left(|\mathcal{X}|^{\sqrt{N}}\right)$

2. MAP elimination algorithm

• 计算 MAP $\boldsymbol{x}^{*} \in \arg \max _{\boldsymbol{x} \in \mathcal{X}^{N}} p_{\mathbf{x}}(\boldsymbol{x})$
  $\begin{array}{l}{\max _{x, y} f(x) g(x, y)=\max _{x}\left(f(x) \max _{y} g(x, y)\right)} \\ {\sum_{x, y} f(x) g(x, y)=\sum_{x}\left(f(x) \sum_{y} g(x, y)\right)}\end{array}$

• example
  $p_{\mathbf{x}}(\boldsymbol{x}) \propto \exp \left(x_{1} x_{2}-x_{1} x_{3}-x_{2} x_{4}+x_{3} x_{4}+x_{3} x_{5}\right)$
  

• algorithm

  

• complexicity

---

其他内容请看：
统计推断(一) Hypothesis Test
统计推断(二) Estimation Problem
统计推断(三) Exponential Family
统计推断(四) Information Geometry
统计推断(五) EM algorithm
统计推断(六) Modeling
统计推断(七) Typical Sequence
统计推断(八) Model Selection
统计推断(九) Graphical models
统计推断(十) Elimination algorithm
统计推断(十一) Sum-product algorithm