【ALGO】模拟退火算法

Simulated Annealing

SA是一种适合求解大规模组合优化问题的算法，是一种关于NP完全类问题的有效近似算法. SA算法是基于Monte-Carlo迭代求解策略的一种随机寻优算法，算法采用Metropolis准则，并使用一组冷却进度表的参数控制算法的进程，使得算法可以在多项式时间内给出近似最优解.

Metropolis准则

算法的模拟过程通过Monte-Carlo方法进行，采样时着重选取那些有着重要贡献的样本，Metropolis等在1953年提出了重要性采样方法，即以一定的概率接受新状态. 首先给定粒子相对位置表征的初始状态$i$作为固体当前的状态，能量为$E_i$，摄动微小变化到一个新状态$E_j$，如果$E_j<E_i$，那么该状态就作为重要状态；如果$E_j>E_i$，依概率判断，固体处于$i$和$j$的概率比值等于玻尔兹曼常数的比值，即
$$r=\exp (\frac{E_i-E_j}{kT})$$
大量迁移后，系统处于稳定状态，概率分布趋于以下吉布斯正则分布
$$P_i=\frac{1}{Z}\exp \left(\frac{-E_i}{kT}\right)$$
其中$P_i$为处于某微观状态或其附近的概率分布；$Z$为常数.

SA基本过程

SA由某一个较高的初温开始，利用具有概率突跳特性的Metropolis抽样策略在解空间进行随机搜索，伴随温度不断下降的重复抽样的过程，算法步骤可以描述如下：

1. 给定初温$t=t_0$，随机产生初始状态,$s=s_0$,令$k=0$.
2. repeat
3. 产生新状态$s_j=Generate(s)$
4. 可以使用不同策略产生新解，一般方法是在当前解的基础上产生新解
   $$s_j=s_i+\Delta s,\Delta s=y(UB-LB)$$
   其中，$y$为零两侧对称分布的随机数，随机数的分布由概率密度决定，$UB$和$LB$各位参数区间的上下界.
5. 如果 min ⁡ { 1 , exp ⁡ [ − ( C ( s j ) − C ( s ) ) / t k ] } ≥ r a n d o m [ 0 , 1 ] , s = s j \min\{1, \exp[-(C(s_j)-C(s))/t_k]\}\geq random[0, 1], s=s_j min{ 1,exp[−(C(sj​)−C(s))/tk​]}≥random[0,1],s=sj​.
6. 退温
7. 直到算法满足终止准则
8. 输出搜索结果

SA的控制参数

合理选择一组控制算法进程的参数，用以逼近模拟SA算法的渐近收敛的状态，使得算法在有限时间内返回一个近似最优解，这组控制参数一般被称为冷却进度表，包括以下参数：1.控制参数$t$的初始温度；2.控制参数$t$的衰减函数$t_k=f(k)$；3.控制参数$t$的终值（停止准则）4.马尔科夫链的长度$L_k$，所有迭代过程称为一个马尔科夫链.

Demo:求极小值

$$f(x)=(a-b{x}_1^2+x_1^4/3)x_1^2+x_1{x}_2+(-c+c{x}_2^2)x_2^2$$
其中$a,b,c$为常数.

%% 使用模拟退火算法求解最小值
global fitall_sa
fitall_sa = zeros(1, 1000);
a=4; b=2.1; c=4; x0=[0.5 0.5];
% ops = optimoptions(@simulannealbnd, 'ReannealInterval', 300, 'MaxIter', 1000, 'PlotFcns', @saplotbestf);
ops= optimoptions(@simulannealbnd,'OutputFcn', @myoutSA);
[x, fval, exitflag, output]=simulannealbnd(@(x)obj_func_sa5(x, a, b, c), x0, [], [], ops);
% plot
plot(1:1000, fitall_sa(1:1000));
grid on;

Reference

最优化方法及其MATLAB实现