机器学习基础之 蒙特卡罗算法

        蒙特·卡罗方法（Monte Carlo method），也称统计模拟方法，是二十世纪四十年代中期由于科学技术的发展和电子计算机的发明，而被提出的一种以概率统计理论为指导的一类非常重要的数值计算方法。是指使用随机数（或更常见的伪随机数）来解决很多计算问题的方法。与它对应的是确定性算法。蒙特·卡罗方法在金融工程学，宏观经济学，计算物理学（如粒子输运计算、量子热力学计算、空气动力学计算）等领域应用广泛。

基本思想

当所求解问题是某种随机事件出现的概率，或者是某个随机变量的期望值时，通过某种“实验”的方法，以这种事件出现的频率估计这一随机事件的概率，或者得到这个随机变量的某些数字特征，并将其作为问题的解。

工作过程

蒙特卡罗方法的解题过程可以归结为三个主要步骤：构造或描述概率过程；实现从已知概率分布抽样；建立各种估计量。

蒙特卡罗方法解题过程的三个主要步骤：

（1）构造或描述概率过程

对于本身就具有随机性质的问题，如粒子输运问题，主要是正确描述和模拟这个概率过 程，对于本来不是随机性质的确定性问题，比如计算定积分，就必须事先构造一个人为的概率过程，它的某些参量正好是所要求问题的解。即要将不具有随机性质的问题转化为 随机性质的问题。

（2）实现从已知概率分布抽样

构造了概率模型以后，由于各种概率模型都可以看作是由各种各样的概率分布构成的，因此产生已知概率分布的随机变量（或随机向量），就成为实现蒙特卡罗方法模拟实验的基本手段，这也是蒙特卡罗方法被称为随机抽样的原因。最简单、最基本、最重要的一个 概率分布是（0，1）上的均匀分布（或称矩形分布）。 随机数就是具有这种均匀分布的随机变量。 随机数序列就是具有这种分布的总体的一个简单子样，也就是一个具有这种分布的相互独立的随机变数序列。产生 随机数的问题，就是从这个分布的抽样问题。在计算机上，可以用物理方法产生 随机数，但价格昂贵，不能重复，使用不便。另一种方法是用 数学 递推公式产生。这样产生的序列，与真正的 随机数序列不同，所以称为伪随机数，或伪随机数序列。不过，经过多种 统计检验表明，它与真正的 随机数，或随机数序列具有相近的性质，因此可把它作为真正的随机数来使用。由已知分布随机抽样有各种方法，与从(0,1)上均匀分布抽样不同，这些方法都是借助于随机序列来实现的，也就是说，都是以产生随机数为前提的。由此可见，随机数是我们实现 蒙特卡罗模拟的基本工具。

（3）建立各种估计量

一般说来，构造了概率模型并能从中抽样后，即实现模拟实验后，我们就要确定一个随机变量，作为所要求的问题的解，我们称它为无偏估计。建立各种 估计量，相当于对 模拟实验的结果进行考察和登记，从中得到问题的解。

数学应用：

通常蒙特·卡罗方法通过构造符合一定规则的随机数来解决数学上的各种问题。对于那些由于计算过于复杂而难以得到 解析解或者根本没有解析解的问题，蒙特·卡罗方法是一种有效的求出 数值解的方法。一般蒙特·卡罗方法在数学中最常见的应用就是蒙特·卡罗积分。

应用领域

蒙特卡罗方法在 金融工程学， 宏观经济学，生物医学，计算物理学(如粒子输运计算、量子热力学计算、空气动力学计算、核工程)等领域应用广泛。

工作过程

在解决实际问题的时候应用蒙特·卡罗方法主要有两部分工作：

1． 用蒙特·卡罗方法模拟某一过程时，需要产生某一概率分布的 随机变量。

2． 用 统计方法把模型的数字特征估计出来，从而得到实际问题的数值解。

分子模拟计算

使用蒙特·卡罗方法进行分子模拟计算是按照以下步骤进行的：

1． 使用随机数发生器产生一个随机的分子构型。

2． 对此分子构型的其中粒子坐标做无规则的改变，产生一个新的分子构型。

3． 计算新的分子构型的能量。

4． 比较新的分子构型于改变前的分子构型的能量变化，判断是否接受该构型。

若新的分子构型能量低于原分子构型的能量，则接受新的构型，使用这个构型重复再做下一次迭代。 若新的分子构型 能量高于原分子构型的能量，则计算玻尔兹曼因子，并产生一个 随机数。若这个随机数大于所计算出的玻尔兹曼因子，则放弃这个构型，重新计算。 若这个随机数小于所计算出的玻尔兹曼因子，则接受这个构型，使用这个构型重复再做下一次迭代。

5． 如此进行 迭代计算，直至最后搜索出低于所给 能量条件的分子构型结束。

项目管理

项目管理中蒙特·卡罗模拟方法的一般步骤是：

1．对每一项活动，输入最小、最大和最可能估计数据，并为其选择一种合适的先验分布模型；

2．计算机根据上述输入，利用给定的某种规则，快速实施充分大量的 随机抽样

3．对 随机抽样的数据进行必要的数学计算，求出结果

4．对求出的结果进行 统计学处理，求出最小值、最大值以及数学期望值和单位 标准偏差

5．根据求出的统计学处理数据，让计算机自动生成概率分布曲线和累积概率曲线(通常是基于 正态分布的概率累积 S曲线)

6．依据累积概率曲线进行项目 风险分析。

力学

在力学中，蒙特卡罗方法多被用来求解稀薄气体动力学问题，其中最为成功的是澳大利亚G.A.伯德等人发展的直接模拟统计试验法。此法通过在计算机上追踪几千个或更多的模拟分子的运动、碰撞及其与壁面的相互作用，以模拟真实气体的流动。它的基本假设与玻耳兹曼方程一致，但它是通过追踪有限个分子的空间位置和速度来代替计算真实气体中分布函数。模拟的相似条件是流动的克努曾数（K n）相等，即数密度与碰撞截面之积保持常数。对每个分子分配以记录其位置和速度的单元。在模拟过程中分别考虑分子的运动和碰撞，在此平均碰撞时间间隔内，分别计算分子无碰撞的运动和典型碰撞。若空间网格取得足够小，其中任意两个分子都可以互相碰撞。具体决定哪两个刚体分子相撞，是随机取一对分子，计算它们的相对速度，根据此值与最大相对速度的比值和随机取样比较的结果，来决定该对分子是否入选。碰撞后分子的速度根据特定分子模型的碰撞力学和随机取样决定。分子与壁面碰撞后的速度，则根据特定的反射模型和随机取样决定。对于运动分子的位置和速度的追踪和求矩可以得出气体的密度、温度、速度等一些感兴趣的宏观参量。而对于分子与壁面间的动量和能量交换的记录则给出阻力、举力和热交换系数等的数学期望值。    

内容来源：蒙特卡罗算法百度百科

--------------------相关摘录：内容来源于网络----------------------

最简单的例子就是算,随机产生点集，,

蒙特卡罗也只是刚开始随机进行预测，但后面的每步迭代都有权重不同。

蒙特卡罗算法和蒙特卡罗方法有一些微妙的不同。本质上蒙特卡罗都指的是Monte Carlo，也就是一个很有名的大赌场，在概率论里边的意思近似等同于“随机”。下边简称为MC。

MC方法指的是用随机来计算一些确定性算法（deterministic algorithm）算起来麻烦/慢的东西。举一个例子，如果你要测量一只猫的体积，但是猫的表面那个曲线非常难以积分(...)，而且这只猫高冷地拒绝了你想要把它泡到水里的请求，所以你选择了另一种途径：用一个能在空间中随机(uniformly)产生一种标志粒子的机器，让这个机器在一个包含了猫的正方体内随机产生粒子。假设粒子如果正好在猫的体内或者表皮（在数学上表皮体积为0所以你要去掉表皮也可以）的话，那么这个粒子就无法被观测到，否则就可以被观测到。假设正方体的体积为1立方米，而你在空间中产生了一万个点，最后观测到了9950个点，那么这只猫的体积就可以用这个MC算法测算为5立方分米。

当然了，除了测量猫的体积(?)，MC方法还有很多其他的用途。一类非常常见的算法叫Markov Chain Monte Carlo（MCMC）。假设你要求一个概率分布的一些性质（比如均值，方差等等），但是这个概率分布没办法直接算，但是你可以构造一个Markov Chain，而这个Markov Chain的equilibrium distribution就是你想要算的那个概率分布。这时候，你只需要直接让这个Markov Chain跑一定的步数，然后进入equilibrium distribution，这时候你随机取一些作为样本，当抽取的数量足够的时候，就可以用这些样本来模拟最开始要算的概率分布，而你想要算的那些东西可以直接用样本分布来算。

计算机科学里边也有一类MC算法。很多用途广泛的算法是NP甚至复杂度更高的，这时候你想要算出一个确定性的解的话，需要的计算量非常的大，常常超出了你导师/上司能容忍的范围(...)，有一些情况下，比如一些算一个数字是不是质数，或者是一些其他的决策问题，就可以用一个MC算法，用少很多的计算时间，来得到一个正确概率足够大（比如90%多一些，但是严格小于1）的解。

可以参考阅读的帖子：蒙特卡罗算法是什么？

阮一峰老师的蒙特卡罗算法入门

code - python - MC蒙特卡洛方法