模拟退火是一种随机化算法,常用于求函数极值。当一个问题的方案数量极大(甚至是无穷的),我们一般有两个选择。
爬山算法
爬山算法每次在当前找到的最优方案
附近寻找一个新方案(一般随机差值)。如果这个新的解
更优,那么转移到
否则不变。
这种算法对于单峰函数显然可行(你都知道是单峰函数了为什么不三分呢)
但是对于多数需要求解的函数中,爬山算法很容易进入一个局部最优解,如下图(最优解为
,而爬山算法可能找到的最优解为
)。
模拟退火
根据爬山算法的过程,我们发现:对于一个当前最优解附近的非最优解,爬山算法直接舍去了这个解。而很多情况下,我们需要去接受这个非最优解从而跳出这个局部最优解,即为模拟退火算法。
什么是退火?(选自百度百科)
退火是一种金属热处理工艺,指的是将金属缓慢加热到一定温度,保持足够时间,然后以适宜速度冷却。目的是降低硬度,改善切削加工性;消除残余应力,稳定尺寸,减少变形与裂纹倾向;细化晶粒,调整组织,消除组织缺陷。准确的说,退火是一种对材料的热处理工艺,包括金属材料、非金属材料。而且新材料的退火目的也与传统金属退火存在异同。
由于退火的规律引入了更多随机因素,那么我们得到最优解的概率会大大增加。于是我们可以去模拟这个过程,将目标函数作为能量函数。
模拟退火算法描述
我们定义当前温度为
,当前状态与新状态(由当前状态通过随机的方式得到)之间的能量(值)差为
,则发生状态转移(更新最优解)的概率为
显然在 时(求解最大值)状态转移肯定成功,否则我们以上式的概率接受这个新的解。
如何退火(降温)?
模拟退火时我们有三个参数:初始温度
,降温系数
,终止温度
。其中
是一个比较大的数,
是一个非常接近
但是小于
的数,
是一个接近
的正数。
首先让温度
,然后按照上述步骤进行一次转移尝试,再让
。当
时模拟退火过程结束,当前最优解即为最终的最优解。
引用一张 Wiki - Simulated annealing 的图片(随着温度的降低,跳跃越来越不随机,最优解也越来越稳定)。