一、介绍

模拟退火（Simulated Annealing，SA）是一种最简单且最著名的元启发式算法，常用于解决复杂的黑盒全局优化问题，它在现实生活中被大量使用。

SA的主要优点是简单。SA基于与材料的物理退火的类比，由于应用了有效的Metropolis接受标准，因此SA避免了蒙特卡洛（Monte-Carlo）方法的缺点(可能陷入局部最小值)。

当目标函数的评估来自复杂的模拟过程时，该模拟过程操纵涉及大量记忆的大维度状态空间，基于群体的算法不适用，而模拟退火是解决这些问题的有效算法。

二、基础知识

在20世纪80年代早期，三位IBM研究人员 Kirkpatrick 等人在组合优化中引入了退火的概念。

这些概念是基于与材料的物理退火的强烈类比。这个过程包括在升高温度后使固体处于低能状态。可以通过以下两个步骤进行总结（见图1.1）：

使固体达到非常高的温度，直到结构“熔化”
根据非常特殊的降温方案冷却固体，以达到最小能量的固态

在液态中，粒子随机分布。结果表明，只要初始温度足够高，冷却时间足够长，就能达到最小能量状态。如果不是这种情况，固体将处于具有非最小能量的亚稳态；这就是所谓的硬化，即固体的突然冷却。

在这里插入图片描述

在描述用于优化的模拟退火算法之前，我们需要了解局部搜索优化算法的原理，模拟退火是其扩展。

2.1 局部搜索(或蒙特卡罗)算法

这些算法通过探索解空间中当前点的邻域来改进目标函数。

在接下来的定义中，我们考虑 $(S, f)$ 组合优化问题的实例化( $S$ :可行解的集合， $f$ :要最小化的目标函数)。

定义1：设 $\mathscr{N}$ 是一个应用，它为每个解 $\in S$ 定义了一个与解 $i$ “接近”的解的子集 $S_i \sub S$ 。子集 $S_i$ 称为解 $i$ 的邻域。

在接下来的定义中，我们考虑 $\mathscr{N}$ 是与 $(S, f)$ 关联的邻域结构。

定义2：生成机制是用于在给定解 $i$ 的任何邻域 $S_i$ 中选择解 $j$ 的手段

局部搜索算法是一种迭代算法，它从状态空间中随机抽取的可行点开始搜索。

然后，通过探索当前解的邻域，连续应用生成机制，以便找到更好的解。

如果找到更好的解决方案，它就成为当前的解决方案。当找不到改进解时，算法结束，当前解被认为是优化问题的近似解。

对于最小化问题，可以通过以下伪代码来总结该算法：

在这里插入图片描述

翻译成中文就是：

步骤	具体操作
1	生成初始解 $i$
2	从当前解 $i$ 的邻域中随机抽取一个解 $j$ （生成新解）
3	如果新解 $j$ 的目标函数值小于旧解 $i$ 的目标函数值，则令新解 $j$ 作为当前解
4	如果当前解 $i$ 的邻域中不存在一个解 $j$ 的目标函数值小于旧解 $i$ 的目标函数值，则程序结束
5	返回步骤 2

定义3：如果对于所有的 $j\in S^*_i$ 都满足 $f(i^*) \le f(j)$ ，则解 $i^* \in S$ 称为相对于 $\mathscr{N}$ 的局部最优解

定义4：如果对于关于 $\mathscr{N}$ 的每个局部最优解 $i^*\in S$ ， $i^*$ 也是 $(S, f)$ 的全局最优值，则称邻域结构 $\mathscr{N}$ 是精确的。

因此，根据定义，只有当有一个精确的邻域结构时，才能保证局部搜索算法收敛到局部最优。

这种精确邻域的概念是理论上的，因为实际上它通常导致借助于搜索空间的完全枚举。

因此，如果当前解“落”在目标函数是凸的子域中，则算法保持陷在该子域中，除非与新解生成机制相关联的邻域结构可以到达该子域之外的点。

为了避免陷入局部极小值，有必要定义一个过程，该过程可能接受暂时降低当前解决方案的质量；这是模拟退火的主要原理。

在描述这个算法之前，有必要介绍一下 Metropolis 算法，它是SA的一个基本组成部分。

2.2 Metropolis 算法

1953年，三名美国研究人员开发了一种模拟物理退火过程的算法，他们的目的是再现退火过程中材料物理结构的演变。

该算法基于蒙特卡罗技术，该技术包括以如下方式产生固体的状态序列。

设初始状态 $i$ 的能量为 $E_i$ ，通过修改一个粒子的位置产生具有能量 $E_j$ 的一个新的状态 $j$ 。

如果能量差 $E_i-E_j>0$ （新状态的能量较低），则状态 $j$ 成为新的当前状态。

如果能量差 $E_i-E_j\le0$ ，则状态 $j$ 以一定的概率变成当前状态，该概率由下式给出：

$\operatorname{Pr}\{\text { Current state }=j\}=e^{\left(\frac{E_i-E_j}{k_b \cdot T}\right)}$

其中 $T$ 代表固体的温度， $k_b$ 是玻尔兹曼常数（ $k_b=1.38×10^{-23}J/K$ ）。

这个以一定概率接受较差解的准则称为 Metropolis 准则。

如果冷却进行得足够慢，固体在每个给定的温度 $T$ 下达到平衡状态。

在 Metropolis 算法中，这种平衡是通过在每个温度下产生大量转变来实现的。

热平衡由玻尔兹曼统计分布来表征。这个分布给出了固体在温度 $T$ 时处于能量 $E_i$ 状态 $i$ 的概率：

$Pr\{X=i\}=\frac{1}{Z(T)}e^{-(\frac{E_i}{k_b \cdot T})}$

其中 $X$ 是与固体当前状态相关的随机变量。 $Z (T)$ 是归一化系数，它的定义如下：

$Z(T)=\sum_{j \in S}{e^{-(\frac{E_j}{k_b \cdot T})}}$

2.3 模拟退火算法

在SA算法中，Metropolis 算法用于在状态空间 $S$ 中生成一系列解决方案。

为此，使用以下等价条件在多粒子系统和我们的优化问题之间进行类比：

状态空间点(解)代表固体的可能状态
要最小化的函数代表固体的能量

然后引入 $c$ 作为温度的控制参数。该参数用与优化目标相同的单位表示。

还假设我们已经为状态空间的每个点提供了一个邻域和一种在该邻域中生成解的机制。然后，我们定义接受准则为：

定义5：设 $(S, f)$ 是组合最小化问题的一个实例， $i$ ， $j$ 是状态空间的两个点。从当前解 $i$ 中接受解 $j$ 的接受标准由以下概率给出：

$\operatorname{Pr}\{\text { accept } j\}= \begin{cases}1 & \text { if } f(j)<f(i) \\ e^{\left(\frac{f(i)-f(j)}{c}\right)} & \text { else. }\end{cases}$

以此类推，邻居的生成原理对应于 Metropolis 算法的扰动机制，而接受原理代表Metropolis 准则。

定义6：转换表示用相邻解决方案替换当前解决方案。此操作分两个阶段执行：生成和接受

接下来，假设 $c_k$ 是温度参数的值， $L_k$ 是在某次迭代 $k$ 时产生的转换次数。SA的原理可总结如下：

在这里插入图片描述

模拟退火算法的主要特点之一是它能够接受较差的目标函数的转变。

在过程开始时，温度 $c_k$ 的值较高，这使得可以接受具有高目标退化的转变，从而彻底探索状态空间。

随着 $c_k$ 降低，只有改善目标或目标恶化程度较低的过渡被接受。

最后，当 $c_k$ 趋于零时，不接受目标的恶化，此时SA算法表现得像蒙特卡罗算法。

三、原理

这一节讨论SA的两个基本理论性质：统计平衡和渐近收敛。

3.1 Statistical Equilibrium 统计平衡

基于遍历性假设，粒子系统可以被认为是一个具有可观测统计特性的集合，许多有用的量可以从平衡统计系统中推导出来：平均能量、能量分布、熵。

此外，如果这个粒子集是静止的，这是当达到统计平衡时的情况，与平衡相中的状态相关的概率密度取决于系统的能量。

事实上，在平衡阶段，系统处于给定状态 $i$ ，能量为 $E_i$ 的概率由玻尔兹曼定律给出：

定理1：在具有固定控制参数 $c$ 并使用以下接受概率的足够数量的转换之后

$P_c\left\{\text { accept } j \mid S_i\right\}=\left\{\begin{array}{cc} 1 & \text { if } f(j)<f(i) \\ e^{\left(\frac{f(i)-f(j)}{c}\right)} & \text { else } \end{array}\right.$

模拟退火算法将以概率找到给定的解 $i \in S$ ：

$P_c\{X=i\}=q_i(c)=\frac{1}{N_0(c)} e^{\left(-\frac{f(i)}{c}\right)}$

其中 $X$ 是表示退火算法当前状态的随机变量， $N_0(c)$ 是归一化系数：

$N_0(c)=\sum_{j \in S} e^{\left(-\frac{f(j)}{c}\right)}$

定义7：设 $A$ 和 $B$ 是两个集合，使得 $B \subset A$ 。我们定义 $B$ 的特征函数 $κ (B)$ 为：

$\kappa_{(B)}(a)=\left\{\begin{array}{l} 1 \quad \text { if } a \in B \\ 0 \quad \text { else} \end{array}\right.$

推论1：对于任何给定的解 $i$ ，都有

$\lim _{c \rightarrow 0^{+}} P_c\{X=i\}=\lim _{c \rightarrow 0^{+}} q_i(c)=q_i^*=\frac{1}{\left|S_{o p t}\right|} \kappa_{\left(S_{o p t}\right)}(i)$

其中 $S_{opt}$ 代表全局最优的集合。

这个结果保证了模拟退火算法对全局最优集合的元素的渐近收敛，假设在 $c$ 的每个值处达到稳定分布 $q_i(c),i ∈ S$ 。

对于离散状态空间，这样的分布是离散的，并且可以计算达到目标值为 $y_i$ 的状态空间中的一个特定点 $x_i$ 的概率：

$q_i(c)=\frac{e^{\left(-\frac{y_i^c}{c}\right)}}{\sum_{j \in S} e^{\left(-\frac{y_j^c}{c}\right)}}$

对于 $c$ 的任何正值，函数 $f$ 在平衡时优化的期望值表示为 $f>_c$ ，方差表示为 $f^2>_c$ 。

在非常高的温度 $c$ 下，SA算法在状态空间中随机移动。

通过映射 $y^c_i = f(x_i )$ ，由该过程产生的每个点 $x_i$ 与目标值 $y_i$ 相关联。

如果我们长时间考虑这个过程，就有可能建立目标函数值 $y^c_i,(i = 1,2,...N)$ 的分布由SA过程生成。

这种分布取决于温度 $c$ ，记为 $q (c)$ 。

对于大的 $c$ 值，这个分布等于目标分布。图1.2 给出了这种分布的一个例子。

在这里插入图片描述
该图示出了一维目标函数，对于该目标函数，圆圈表示在某个高温 $c_1$ 下SA算法的示例。

水平虚线示出了该分布的平均值( $f(c_1)>$ )，并且在左侧，相关的分布由虚线图( $q (c 1)$ )表示。

对于较低的温度 $c_2$ ，SA过程中的一些转变是不被接受的，这意味着相关的分布 $q (c 2)$ 被移动到具有较低期望值的较低水平(右边的目标函数中的正方形和左边的实线)。

定义8：平衡时的熵是

$H_c=\sum_{i \in S} q_i(c) \ln \left(q_i(c)\right)$

推论2：一个有

$\begin{aligned} & \frac{\partial\langle f\rangle_c}{\partial c}=\frac{\sigma_c^2}{c^2} \\ & \frac{\partial H_c}{\partial c}=\frac{\sigma_c^2}{c^3} . \end{aligned}$

这最后两个表达式在统计力学中起着重要的作用。我们还推导出以下表达式：

推论3：

$\begin{array}{cc} \lim _{c \rightarrow \infty}\langle f\rangle_c=\langle f\rangle_{\infty}=\frac{1}{|S|} \sum_{i \in S} f(i) & \lim _{c \rightarrow 0}\langle f\rangle_c=\langle f\rangle_0=f_{O p t} \\ \lim _{c \rightarrow \infty} \sigma_c^2=\sigma_{\infty}^2=\frac{1}{|S|} \sum_{i \in S}\left(f(i)-\langle f\rangle_{\infty}\right)^2 & \lim _{c \rightarrow 0} \sigma_c^2=\sigma_0^2=0 \\ \lim _{c \rightarrow \infty} H_c=H_{\infty}=\ln (|S|) & \lim _{c \rightarrow 0} H_c=H_0=\ln \left(\left|S_{O p t}\right|\right) \end{array}$

其中 $f_{Opt}$ 表示 $f$ 的最优值，这最后一个公式表示热力学第三定律(假设只有一个最小能量状态，那么我们得到： $S_0 = ln(1) = 0$ )。

在物理学中，熵衡量与系统相关的无序程度：高熵值表明结构混乱，而低值反映组织。

在最优化的上下文中，熵与达到的最优性程度的度量相关。在连续的SA迭代期间，目标函数值和熵的数学期望仅分别向 $f_{Opt}$ 和 $ln(|S_{Opt}|)$ 减小和收敛。

分布 $q_i(c)$ 随温度 $c$ 的导数由以下表达式给出：

$\frac{\partial q_i(c)}{\partial c}=\frac{q_i(c)}{c^2}\left[\langle f\rangle_c-f(i)\right]$

由于 $\langle f\rangle_c \ \le \ \langle f\rangle_{\infty}$ ，在模拟退火过程中可以表现出三种状态。更准确地说，可以显示以下内容：

推论4：设 $(S, f)$ 是具有 $S_{Opt} \neq S$ 的组合优化问题的实例，设 $q_i(c)$ 是与退火过程相关的平稳分布。然后我们有:

在这里插入图片描述
这个推论表明，当 $c$ 减小时，找到最优解的概率单调增加。此外，对于任何非最优解，存在一个正值 $\bar{c}_i$ ，使得对于 $c<\bar{c}_i$ ，找到该解的概率随着 $c$ 的减小而减小。

定义9：与模拟退火算法相关的接受率定义如下

$\chi(c)=\frac{\text { Number of accepted transitions }}{\text { Number of proposed transitions }}$
作为一般规则，当 $c$ 具有高值时，所有跃迁都被接受，并且 $χ (c)$ 接近 $1$ 。

然后，当 $c$ 减小时， $χ (c)$ 缓慢减小，直到达到 $0$ ，表示不接受任何跃迁。

通过观察 $\langle f\rangle_c$ 和 $σ^2_c$ 作为 $c$ 的函数的演化，我们注意到存在一个称为转变阈值(记为 $c_t$ )的临界值，它界定了平衡态分布的两个不同区域。该阈值是值 $c_t$ ，使得：

$\langle f\rangle_{c_t} \approx \frac{1}{2}\left(<f_{\infty}>+f_{O p t}\right)$

和

$\begin{aligned} & \sigma_c^2 \approx \sigma_{\infty}^2 \text { if } c \geq c_t \\ & <\sigma_{\infty}^2 \text { if } c<c_t \\ & \end{aligned}$

因此，对于任何给定的 $c$ 值，搜索空间 $S$ 可以分成两个区域：

$R_1$ 区域：当 $c$ 降低时， $σ^2_c$ 大致保持不变(接近 $σ^2_∞$ )
$R_2$ 地区：当 $c$ 减少时， $σ^2_c$ 减少

当 $c$ 接近 $c_t$ 值时，接受率约为 $0.5$ (即 $χ(c_t) ≈ 0.5$ )。此外，我们可以证明：

在 $R_1$ 中，对于较大的 $c$ 值， $\langle f\rangle_c$ 在 $c^{-1}$ 中是线性的，而 $σ^2_c$ 大致恒定
在 $R_2$ 中，对于较小的 $c$ 值， $\langle f\rangle_c$ 与 $c$ 成正比， $σ^2_c$ 与 $c_2$ 成正比

人们可以提出下列 $\langle f\rangle_c$ 和 $σ^2_c$ 的近似模型：

在这里插入图片描述
其中，粗略地说， $γ$ 是 $\langle f\rangle_c$ 的一级近似。最后，让我们引入比热，记为 $H (c)$ ，它由下式给出：

$H(c)=\frac{d\langle f\rangle_c}{d c}=\frac{\langle f\rangle_c^2-\langle f\rangle_c^2}{k_b c^2}$

较大的 $H (c)$ 值表明材料开始变成固体：在这种情况下，温度的下降速率必须降低。

3.2 Asymptotic Convergence 渐近收敛

模拟退火算法具有向全局最优随机收敛的特性，只要它提供具有无限小的衰减步长的无限长的温度衰减图。

这个衰变纲图是纯理论的，人们将在实践中努力接近这个理想，同时保持在合理的执行时间内。

定义10：马尔可夫链是状态序列，其中到达给定状态的概率仅取决于前一个状态。设 $X (k)$ 是在第 $k$ 次迭代时达到的状态。然后，每个状态对 $(i, j)$ 在第 $k$ 次迭代时的跃迁概率由 $P_{ij}(k)= Pr \{ X(k)= j | X(k-1)= i \}$ 给出。关联矩阵 $P_{ij}(k)]$ 称为转移矩阵。在模拟退火环境中，马尔可夫链转移对应于状态空间中的移动（生成 + 接受）。

定义11：SA算法的转移概率由下式给出：

$\forall i, j \in S： P_{i j}(k)=P_{i j}\left(c_k\right)= \begin{cases}G_{i j}\left(c_k\right) A_{i j}\left(c_k\right) & \text { if } i \neq j \\ 1-\sum_{l \neq i} P_{i l}\left(c_k\right) & \text { if } i=j\end{cases}$

其中 $G_{ij}(c_k)$ 表示从状态I产生状态j的概率；

$A_{ij}(c_k)$ 是接受从状态 $i$ 生成的状态 $j$ 的概率。

对于所有 $i, j \in S$ ， $A_{ij}(c_k)$ 由下式给出：

$\begin{aligned} & A_{i j}\left(c_k\right)=e^{\left(-\frac{(f(j)-f(i))^{+}}{c_k}\right)} \\ & \text { with } a^{+}=\left\{\begin{array}{l} a \text { if } a>0 \\ 0 \text { else } \end{array}\right. \end{aligned}$

定理2：假设满足以下条件：

$\forall i, j \in S \quad \exists p \geq 1 \quad \exists l_0, l_1, \ldots, l_p \in S$

$\ l_0=i, l_p=j, \text { and } G_{l_k, l_{k+1}}>0, k=0,1, \ldots, p-1 \text {. }$

然后，马尔可夫链具有表示为 $q (c)$ 的平稳分布，这是SA算法在温度 $c$ 下访问的解的分布，其分量由下式给出：

$q_i(c)=\frac{1}{N_0(c)} e^{\left(-\frac{f(i)}{c}\right)}, \forall i \in S$

其中， $N_0(c)$ 是归一化系数

在这里插入图片描述

其中 $X^c_k$ 表示在温度 $c$ 下获得的第 $k$ 次迭代。该结果表明模拟退火算法收敛到最优解之一。

定理3：假设生成和接受的概率满足以下假设

在这里插入图片描述

然后，在任何迭代 $k$ ，存在一个平稳分布 $q(c_k)$ ，其分量由下式给出：

$q_i\left(c_k\right)=\frac{A_{i_{O p t} i}\left(c_k\right)}{\sum_{j \in S} A_{i_{O p t} j}\left(c_k\right)} \forall i \in S \text { and } i_{Opt} \in S_{O p t}$

此外，对于任何 $i_{Opt} ∈ S_{Opt}$ ，我们有：

$\lim _{c_k \rightarrow 0^{+}} q_i\left(c_k\right)=\frac{1}{\left|S_{O p t}\right|} \kappa_{\left(S_{O p t}\right)}(i)$

实际上，除了指数分布，很难找到满足 $A_1，A_2，A_3$ 的接受分布。

上面给出的理论结果不能直接应用于实际的SA算法，因为它们假设对于 $c_k$ 的每个值都有无限次迭代，而且 $c_k$ 的值不断向 $0$ 减小。

在每个温度步骤的迭代次数是有限的情况下，可以使用马尔可夫非均匀模型来模拟SA，对于该模型可以建立类似的结果。

模拟退火算法收敛于优化问题的最优解，但是它仅在无限次转换时达到该最优解。渐近行为的近似需要多次迭代，其数量级等于状态空间的基数，这在NP-hard问题的情况下是不现实的。

因此，有必要将退火视为一种接近组合优化问题的全局解的机制，这将需要添加一种允许精确达到最优的局部搜索方法。

换句话说，模拟退火使得在正确的吸引域中移动成为可能，并且局部方法通过确定与问题的全局最优值相对应的这个吸引域内的局部最优值来优化过程。

四、实际问题

本节调查了希望为特定问题实现SA算法的朋友感兴趣的以下实际问题：有限时间近似、多项式时间冷却、马尔可夫链长度、停止准则和基于模拟的评估。

4.1 Finite-Time Approximation 有限时间近似

在实践中，收敛条件将通过在每次迭代k时选择参数 $c_k$ 的相对小的衰减步长和在该温度下足够大的转变次数 $L_k$ 来近似。

直觉上，减量越大，达到准平衡(定义如下)的稳定步骤的长度越长。因此，需要在“大减量”和“长度” $L_k$ 之间进行权衡。

模拟退火算法的有限时间实现可以通过为控制参数 $c$ 的值的有限递减序列生成有限长度的齐次马尔可夫链来实现：

定义12：冷却过程的定义如下

控制参数 $c$ 的有限值序列，也就是说：
- 初始值 $c_0$
- 参数 $c$ 的衰减函数
- $c$ 的最终值
控制参数的每个值的有限数量的转换，即相关马尔可夫链的有限长度

定义13：设 $ε$ 是足够小的正值， $k$ 是给定的迭代次数， $L_k$ 是第 $k$ 个马尔可夫链的长度， $c_k$ 是控制参数的值。如果在马尔可夫链的 $L_k$ 次迭代之后解的概率分布(由 $a(L_k,c_k)$ 表示的分布)足够接近平稳分布 $q(c_k)$ ，我们说我们有一个准平衡：

$\begin{gathered} q_i\left(c_k\right)=\frac{1}{N_0\left(c_k\right)} e^{-\frac{f(i)}{c_k}} \forall i \in S, \\ N_0\left(c_k\right)=\sum_{j \in S} e^{-\frac{f(j)}{c_k}} \end{gathered}$

那就是：

$\left\|a\left(L_k, c_k\right)-q\left(c_k\right)\right\|<\varepsilon$

使用准平衡原理的冷却过程基于以下观察。当参数 $c_k$ 趋于 $\infty$ ，稳定分布由可能解集合 $S$ 上的统一定律给出：

$\lim _{c_k \rightarrow \infty} q\left(c_k\right)=\frac{1}{|S|} \mathbf{1}$

其中 $\mathbf{1}$ 是维 $∣ S ∣$ 的向量，其分量都是 $1$ 。

因此，对于足够大的 $c_k$ ，以相同的概率访问搜索空间的每个点，并且无论 $L_k$ 的值如何，都直接达到准平衡状态。

然后，冷却过程包括确定将导致在每个马尔可夫链末端的准平衡的值 $L_k,c_k)$ 。

有许多可能的冷却过程，但两个最常见的是 Kirkpatrick 提出的几何过程（geometric process）和 Aarts 和 Van Laarhoven 提出的多项式时间冷却（polynomial-time cooling）。

4.2 Geometric Cooling 几何冷却

初始温度 $c_0$ ：执行预先加热，以便我们可以找到足够大的 $c_0$ 值，使得在第一次迭代中几乎所有的转变都被接受。为了找到这样一个值，我们从一个小值 $c_0$ 开始。然后，该值逐渐乘以一个大于 $1$ 的数，直到接受率 $χ(c_0)$ 接近 $1$ 。
控制参数 $c$ 的衰减： $c_{k+1}=\alpha c_k$ ，其中 $\alpha$ 一般取 0.8~0.99
停止准则：当当前解在足够大的迭代次数期间从一次迭代到下一次迭代不再改变时，判定算法终止。
链条的长度：理论上，需要让每条链达到准平衡状态。为此，必须执行足够数量的可接受转换，这通常取决于问题。由于被接受的转变的数量相对于被提议的转变的数量 $L_k$ 随时间减少，所以后者必须是下限。

4.3 Cooling in Polynomial Time 多项式时间冷却

让我们解释一下如何设置温度参数的初始值，以及如何迭代地减小它。

4.3.1 初始温度

设 $m_1$ 是严格提高目标函数值的建议转换总数， $m_2$ 是其他(增加的)建议转换数。此外，设 $\bar{\Delta}_f^{(+)}$ 是所有递增转换的成本差的平均值。那么，接受率可以近似为：

$\chi(c) \simeq \frac{m_1+m_2 e^{-\left(\frac{\bar{\Delta}_f^{(+)}}{c}\right)}}{m_1+m_2}$

这产生了

在这里插入图片描述

初始温度 $c_0$ 的建议初始值定义如下：

最初， $c_0$ 被设置为 $0$ 。此后，产生一系列 $m_0$ 转换，计算 $m_1$ 和 $m_2$ 的值。

然后， $c_0$ 的初始值由等式(1.2)计算得出，其中接受率 $χ (c)$ 的值由用户定义。然后将 $c_0$ 的最终值作为冷却过程中的初始值。

4.3.2 控制参数的衰减

准平衡条件被替换为：

$\forall k\geq 0：\|q(k)-q(k+1)\|<\varepsilon$

因此，对于控制参数的两个连续值 $c_k$ 和 $c_{k+1}$ ，期望平稳分布接近。这可以通过以下公式量化：

在这里插入图片描述

其中 $δ$ 是先验给定的某个小正数。下面的定理提供了满足等式(1.3)的必要条件。

定理4：设 $q(c_k)$ 是与迭代 $k$ 处的模拟退火过程相关联的马尔可夫链的平稳分布，并且设 $c_k$ 和 $c_{k+1}$ 是控制参数的两个连续值，其中 $c_{k+1} < c_k$ ，则满足(1.3)式，如果：

在这里插入图片描述
必要条件(1.4)可以改写为：

可以证明后一个条件(1.5)可以近似为：

在这里插入图片描述

其中， $σ_{c_k}$ 是温度 $c_k$ 下 $q(c_k)$ 的标准偏差。

温度参数 $c$ 的减量由用户定义的参数 $δ$ 决定。 $δ$ 的大值导致 $c$ 的大幅度减少，而 $δ$ 的小值导致 $c$ 的小幅度减少。

4.3.3 马尔可夫链的长度

在SA冷却过程中，马尔可夫链的长度必须允许访问给定解 $i \in S$ 的邻域 $S_i$ 的相当大的百分比。以下定理用于量化该百分比：

定理5：设 $S$ 是一个基数 $∣ S ∣$ 的集合。然后，在 $N$ 次迭代的随机行走期间访问的 $S$ 个元素的平均数量由下式给出：

在这里插入图片描述

因此，如果不接受转换，并且 $N = |S_i|$ ，则在解 $i$ 的邻域 $S_i$ 中访问的解的百分比为： $1-e^{-1} \simeq 2/3$ 。

$L_k = |S_i|$ 给出了在迭代k时内循环(温度为 $c_k$ )迭代次数的一个好选择，其中显然 $S_i|$ 与问题有关，必须由用户设计。

4.3.4 停止准则

令 $\Delta\langle f\rangle_{c_k}=\langle f\rangle_{c_k}-f_{O p t}$ 。

然后，当 $\Delta\langle f\rangle_{c_k}$ 相对于 $\langle f\rangle_{c_0}$ “足够”小时，算法的执行应该终止。

对于足够高的 $c_0$ 值，我们有 $<f_{c_0}>\simeq\langle f\rangle_{\infty}$

此外，对于 $c_k << 1$ ：

$\Delta\langle f\rangle_{c_k} \simeq c_k \frac{\partial\langle f\rangle_{c_k}}{\partial c_k}$

然后，算法的终点由以下条件确定：

$\frac{c_k}{\langle f\rangle_{\infty}} \frac{\partial\langle f\rangle_{c_k}}{\partial c_k}<\varepsilon_S \text { for } c_k<<1$

用户可以设置一些小的容差 $ε_S$ 。

4.3.5 小结

因此，多项式时间内的冷却过程由下式参数化:

初始接受率： $χ(c_0)$
由参数 $δ$ 控制的连续平稳分布之间的距离
由参数 $ε_S$ 控制的停止标准

该冷却过程的迭代次数是有限的，并且可以由以下定理来表征：

定理6：让减量函数由下式给出：

在这里插入图片描述

设 $K$ 是满足停止标准的第一个整数。然后，我们有 $K = O (l n (∣ S ∣))$ 。

因此，如果 $l n (∣ S ∣)$ 是问题大小的多项式(这是许多组合优化问题的情况)，那么这种类型的冷却导致算法的多项式执行。

每个问题都有一个最佳的退火方案，由用户决定哪一个最适合他的应用。

当没有关于最佳退火方案的先验信息时（通常是这种情况），应该依赖于标准几何方案。

对于标准几何方案，参数 $c_k$ 演变如下： $c_{k+1} = α_kc_k$ ，并且根据经验在感兴趣的问题类别的一些代表性实例上调整参数 $α_k$ 和 $L_k$ 。

这种几何方法并不是对所有问题都是最佳的，但它具有稳健的优点，并确保收敛到近似解，即使它比最佳退火方案需要更多的时间来收敛。

4.4 Simulation-Based Evaluation 基于模拟的评估

在许多优化应用中，由于需要模拟环境的计算机模拟过程，目标函数被评估。

在这种情况下，优化算法控制决策变量 $X$ 的向量，模拟过程使用这些变量来计算这些决策的性能(质量) $y$ ，如图1.3所示。

在这里插入图片描述

在这种情况下，基于群体的算法可能不适于解决这种问题，主要是当模拟环境需要大量的存储空间时，这在当今现实生活的复杂系统中是常见的情况。

事实上，在基于群体的方法的情况下，必须为解决方案群体中的每个个体复制模拟环境，这可能需要大量的存储器。

为了避免这一缺点，可以考虑只使用一个模拟环境，每次必须评估群体中的一个点时都可以使用该环境。

首先考虑为其启动模拟环境的第一个人，并且运行与该第一个人相关联的模拟。相关联的性能然后被转移到优化算法。之后，评估第二个人，但是必须首先从第一模拟的事件中清除模拟环境。然后对第二个个体运行模拟，依此类推，直到群体中的最后一个个体被评估。

在这种情况下，存储空间不再是一个问题，但评估时间可能过长，整个过程太慢，因为每次评估时都要重置仿真环境。

在标准模拟退火算法中，对于每个提出的转换，都需要一个状态空间点的副本。事实上，点 $X_j$ 是通过计算机内存中的副本从当前点 $X_i$ 生成的。在大维度的状态空间的情况下，实现这种复制的简单过程可能是低效的，并且可能显著降低模拟退火的性能。

在这种情况下，考虑返回操作符会更有效，因为它消除了生成的影响。设 $G$ 是将一个点从 $X_i$ 变换到 $X_j$ 的生成算子：

$\begin{gathered} G \\ \mathbf{X}_i \rightarrow \mathbf{X}_j \end{gathered}$

回归算子是生成算子的逆 $G^{-1}$ 。

通常，这样的生成只修改当前解决方案的一个组件。

在这种情况下，矢量 $X_i$ 可以被修改而不被复制。根据评估该新点时获得的值，可以考虑两个选项：

新的解决方案被接受，并且在这种情况下，只有当前的目标函数值被更新
否则，返回操作符 $G^{-1}$ 被应用到新位置，以便返回到先前的解，同样在存储器中没有任何复制。

这个过程总结在图1.4中。
在这里插入图片描述

必须小心使用返回运算符，因为它很容易在算法搜索状态空间的过程中产生不希望的失真。例如，如果使用和修改一些二级评估变量来计算总体评估，则这些变量也必须恢复它们的初始值，因此返回算子必须确保状态空间的一致性。

五、流程图

在这里插入图片描述

六、总结

本博客详细介绍了模拟退火(SA)，一种全局优化元启发式算法。
SA的主要优点是简单。
SA基于与材料的物理退火的类比，由于有效的Metropolis接受标准，避免了Monte-Carlo方法的缺点(可能陷入局部最小值)。
当目标函数评估需要大量存储空间时，例如当它是由操纵涉及大量存储的大维度状态空间的复杂模拟过程产生时，基于群体的算法不适用，而模拟退火是解决这些问题的不错选择。

七、案例讲解&代码实战

【运筹优化】SA模拟退火算法求解TSP问题 + Java代码实现

【运筹优化】元启发式算法详解：模拟退火算法（Simulated Annealing，SA）+ 案例讲解&代码实战

文章目录

一、介绍

二、基础知识

2.1 局部搜索(或蒙特卡罗)算法

2.2 Metropolis 算法

2.3 模拟退火算法

三、原理

3.1 Statistical Equilibrium 统计平衡

3.2 Asymptotic Convergence 渐近收敛

四、实际问题

4.1 Finite-Time Approximation 有限时间近似

4.2 Geometric Cooling 几何冷却

4.3 Cooling in Polynomial Time 多项式时间冷却

4.3.1 初始温度

4.3.2 控制参数的衰减

4.3.3 马尔可夫链的长度

4.3.4 停止准则

4.3.5 小结

4.4 Simulation-Based Evaluation 基于模拟的评估

五、流程图

六、总结

七、案例讲解&代码实战

猜你喜欢