深度强化学习——蒙特卡洛算法(6)

注:本章的内容作为补充插曲,大家可以选看,不过还是建议把最后一个使用蒙特卡洛近似求期望稍微看一下

蒙特卡洛是一大堆随机算法,通过随机样本来估算真实值

使用随机样本来近似Π

93aaed0f53fe4cdbb403968f23873c57.png

2f07e653b61944279a45a19d1104bd3d.png

413a913f2c81458f92f65dc600dbf177.png

5c74ca9cb11741ad96b81ae548b23cbe.png

4ebda9d2daf040ee9c852bfe180ac245.png

7f04f8a51bf8489e9c84bd058904a358.png

1、在[a,b]做随机均匀抽样,抽出n个样本

1e708d4415d14bd480baabe821e14f22.png

常用的编程语言都有随机数生成器,全都支持均匀抽样

5785b7a951cf40b9af8ca47e06d1cb3e.png

多元蒙特卡洛积分:

b682a1c0639b491f818e25d4dff5189f.png

集合Ω必须是简单的形状,否则不好计算他的面积或者体积

66f6c5985208489c91092379b776e51f.png

063c8f8fba2b4ddaa1cb386b450e6f6c.png 使用蒙特卡洛来近似期望:

这对统计学和机器学习特别有用:

随机变量大写,观测值小写

函数px是一个概率密度函数,他描述变量x在某个取值点附近的可能性

来复习一下函数的期望:

f(x)是任意的函数,他的参数是b维的向量

cc205fd6546f45fba3be743b90090f6d.png

直接求这个定积分并不容易,尤其是变量X是高维向量的时候

所以使用蒙特卡洛近似求期望:

1、不再均匀抽样,而是根据概率密度函数p(x)来对样本进行抽样,对于高斯分布等常见的概率分布,都有现成的抽样函数

3、使用Qn作为对期望的估计

5ab4614f5808492eae056a39de2db456.png

 Mark:机器学习和统计中低精度能大幅降低计算量已经够用了,例如随机梯度下降算法也是一种MC算法

9810d727f2c841d2acd3236abcb15ab1.png

猜你喜欢

转载自blog.csdn.net/Tandy12356_/article/details/130298094