吉布斯采样 Gibbs Sampling

吉布斯采样的通俗解释

  Gibbs Sampling 就是以一定的概率分布,看发生什么事件。


例子
  甲只能 E:吃饭、学习、打球,
  时间    T:上午、下午、晚上,
  天气   W:晴朗、刮风、下雨。


  现在要一个sample,这个sample可以是:打球+下午+晴朗。

  问题是我们不知道 p(E,T,W),或者说,不知道三件事的联合分布 joint distribution。当然,如果知道的话,就没有必要用 gibbs sampling了。但是,我们知道三件事的conditional distribution。也就是说,p(E|T,W), p(T|E,W), p(W|E,T)。现在要做的就是通过这三个已知的条件分布,再用 gibbs sampling 的方法,得到联合分布。

具体方法
  首先随便初始化一个组合,i.e. 学习+晚上+刮风,
  然后依条件概率改变其中的一个变量。
  具体说,假设我们知道 晚上+刮风,我们给 E 生成一个变量,比如,学习-》吃饭。我们再依条件概率改下一个变量,根据 学习+刮风,把晚上变成上午。类似地,把刮风变成刮风(当然可以变成相同的变量)。这样学习+晚上+刮风-》吃饭+上午+刮风。
  同样的方法,得到一个序列,每个单元包含三个变量,也就是一个马尔可夫链。然后跳过初始的一定数量的单元(比如100个),然后隔一定的数量取一个单元(比如隔20个取1个)。这样sample到的单元,是逼近联合分布的。


二维吉布斯采样算法
  吉布斯采样算法中右边的条件概率我们是知道的,例如你要采样的是二维高斯分布,那么固定xt后就是二维高斯分布固定xt后的一维高斯分布,且每次采样的坐标不同,这样这个一维高斯分布概率密度函数也就不一样了。

======================================================================

======================================================================

======================================================================

======================================================================

From

https://blog.csdn.net/wydbyxr/article/details/83212740

https://baike.baidu.com/item/%E5%90%89%E5%B8%83%E6%96%AF%E9%87%87%E6%A0%B7/22660772?fr=aladdin

https://blog.csdn.net/wenyusuran/article/details/97754195

猜你喜欢

转载自www.cnblogs.com/emanlee/p/12356419.html