sampling method
背景
在贝叶斯框架下，利用后验分布对参数进行估计，也即
其中
（1）
是参数的先验分布。
（2）
是似然分布，数据集
的生成联合概率
（3）
是参数的后验分布。
通常
分布很复杂，所以可以采用sampling方法从
中采样样本，表示后验分布。如计算参数的期望。
其中
是从
中抽取的一组样本。
MCMC
马尔科夫蒙特卡洛方法（MCMC）是最常用的采样技术。其关键是通过构造平稳分布为
的马尔科夫链，则此时产出的样本
近似服从分布
。
平稳分布
设
（1）马尔科夫链
的状态转移概率为
。
（2）在
时刻状态的分布为
若此时
则马尔科夫链满足细致平稳条件，
是该马尔科夫链的平稳分布。
Metropolis-Hasting算法
- initialize
- for i = 0 to N - 1
if
else:
证明：
因此，满足细致平稳条件，且
服从
MH算法关键是选择
，虽然理论上可以随便选。
Gibbs采样算法
gibbs主要用于对多维分布采样
initialize 
证明
由采样流程：
则代入MH
所以，gibbs是MH的一种特殊形式。