深度学习（五）：M-H采样

一、引入

M-H采样用来解决MCMC采样效率低的问题，主要是更改了MCMC中接受率的具体定义，但是这个方法不适用于高维。

二、细致平稳条件

从$\pi(i)Q_{ij}\alpha (ij)= \pi(j)Q_{ji}\alpha (ji)$出发（1）式

移项$\alpha (ij)=\alpha (ji)\frac{\pi(j)Q_{ji}}{\pi(i)Q_{ij}}$，（2）式

并且令$\alpha (ji)=1$，

令$\alpha (ij)=min\left \{ \frac{\pi(j)Q_{ji}}{\pi(i)Q_{ij}},1 \right \}$，（3）式

其实这个想法，就是把（1）式，左右两边的$\alpha (ij)$和$\alpha (ji)$同比增大，先只观察$\alpha (ji)$，如果它达到1了，就不再变化，这时候我们再倒回去观测$\alpha (ij)$，按照（2）式，它应该等于这个复杂的除法$\alpha (ji)\frac{\pi(j)Q_{ji}}{\pi(i)Q_{ij}}$，但是，由于它是个接受率，不能大过1，于是得到（3）式，（3）式说明了$\alpha (ij)$要更快达到1。

具体采样见上一篇博文，只是马尔可夫链蒙特卡洛采样中的接受率的表达式改变了而已。