在学习《deep learn》一书第十七章《蒙特卡罗方法》的时候，遇采样方法，但是我们这边一来是刚开始进入深度学习领域，二来主要研究图像处理，所以对于这个采样方法觉得很迷惑，我负责讲课的时候也是被书本带着走，只是讲了一下书本里的概念和公式，于是导师也叫我去查清楚采样方法在图像领域有什么应用~~于是此次前来彻查。
在网上搜了一下，发现跟书本里讲的内容如出一辙，而且还要详细一些，我才醒悟，其实原理呢，书里已经讲得很明白透彻了，只是自己没有在实践中遭遇到，所以没有这方面的概念，因为采样方法主要应用与NLP方面。如果硬要说采样在图像上的应用，则是图像上采样和下采样，但是这里的采样又跟采样方法里面的采样区别很大了。
虽然这里要探究的采样方法并不是在图像应用上的采样方法，但是还是梳理一下：
常见的采样方法主要有：
1.蒙特卡罗采样
2.重要采样
3.马尔科夫链蒙特卡罗方法（MCMC采样）
4.Gibbs采样
为什么需要采样？
是当我们需要以较小的代价近似许多项的和或某个积分时，采样是一种很灵活的选择。有时候，我们使用它加速一些很费时却易于处理的求和估计，就像我们使用小批量对整个训练代价进行子采样一样。
当无法精确计算和或积分（例如，和具有指数数量个项，且无法被精确简化）时，通常可以使用蒙特卡罗采样来近似它.这种想法把和或者积分视作某分布下的期望，然后通过估计对应的平均值来近似这个期望。
具体的采样方法，参考另一个帖子，写的很好：采样方法