深坑待填

一、采样

1.important sampling & reject sampling

先从最基本的Inverse CDF方法讲起，故名思意，就是对CDF函数取反的过程，那什么是CDF函数呢？

Cumulative distribution function（CDF）：其实就是我们大学本科学过的概率分布。

Probability density function（PDF）：其实就是说的概率密度函数，CDF是PDF积分后的结果。

指数分布和0-1均匀分布的CDF

因为计算机一般通过box muller产生伪随机数，得到均匀分布，我们需要有相应的算法，由均匀分布变成想得到的分布形式。

如我需要上图的指数分布f(x)的数据，步骤如下：

1.在y轴上取均匀分布

2.将取到的均匀分布对应与x轴，f-1（x）即所求的指数分布    （f-1（x）为反函数）

。。。。。

未完

2.MCMC

待补充。。。

MCMC的最基本的model就是 ：采一个点，根据Markov性质，再采一个，使之分布稳定了，再将后续的采的点当成结果样本

key：1、M-H sampling和reject sampling一起理解比较好理解，α可以理解为接受转移率，和reject的接受率相似

         2、Gibbs sampling可以理解为将M-H sampling分解到每一维去做了，一般是进行轮转得到下一个转移点，因为分解到每一维去做是一定满足detail balance condition的，即不需要增加α来考虑是否接受转移，100%转移！

两种MCMC对比下来，Gibbs没有拒绝，不会费了老大力气算了被拒绝了，节约算力；同时Gibbs是从条件分布中采样，M-H的全局分布有时会因为特征维度太大很难采。

二、

1.HMM

2.EM

3.变分推断

4.LDA