采样方法A

采样方法


在不会产生歧义的条件下,这里不对“采样”和“取样(抽样)”两个概念加以明确区分。事实上,以下多处用到的“采样”一词实际上指“抽样”,作为习惯,仍保留这种叫法。

对于给定的概率分布\(p(\mathbf{z})\),我们希望计算定义在该分布上的函数\(f(\mathbf{z})\)的期望,即
\[\mathbb{E}[f]=\int f(\mathbf{z})p(\mathbf{z}){\rm{d}}\mathbf{z},\]
这里\(f(\mathbf{z})\)也是随机变量。为了简化计算,按概率分布\(p(\mathbf{z})\)进行\(L\)次随机取样得到样本\(\mathbf{z}^{(l)}\)\(l=1,...,L\),从而对\(f\)的期望估计为
\[\hat{f}=\frac{1}{L}\sum_{l=1}^L{f(\mathbf{z}^{(l)})},\]
这里\(\hat{f}\)是统计量(当然也是随机变量),容易看出\(\hat{f}\)\(\mathbb{E}[f]\)的无偏估计,即满足\(\mathbb{E}[\hat{f}]=\mathbb{E}[f]\)。该统计量的方差为
\[\text{var}[\hat{f}]=\frac{1}{L}\mathbb{E}\left[(f-\mathbb{E}[f])^2\right],\]

对于没有已观测结点的有向图,可以使用祖先采样(ancestral)方法;而对于存在已观测结点的有向图,其后验概率可以使用逻辑采样(logic)方法(作为重要性采样(importance)的特例)。
无向图的采样稍微复杂一些,可使用Gibbs采样方法。

1 基础采样算法


2 马尔科夫链蒙特卡洛


3 Gibbs采样


4 切片采样


5 混合蒙特卡洛算法


6 估计配分函数


猜你喜欢

转载自www.cnblogs.com/astoninfer/p/9283702.html