模拟退火算法
那为什么要用模拟退火算法呢？ 我们知道，对于一组离散值，我们可以用穷举法，找到最小值， 对于一个凸函数，我们可以通过梯度下降法或者牛顿法迭代找到最小值，但是对于一个有着几个局部最下值的函数，无论是贪心算法或者梯度下降，都容易陷入局部最小值。而模拟退火算法，在找到最小值的时候，还会以一定概率，去接受更差值，这样就有机会跳出局部最优，从而找到全局最优，当然，这个概率随着时间会慢慢减小。其实这个思想就是Metropolis接受准则(1953)
什么意思呢，df 就是y1-y0, 也就是新的函数值比当前的函数值小，那我们就以概率1(也就是一定)接受新的函数值，如果df大于0，我们就以第二个式子的值这个概率接受更差值。可以发现，由于指数函数特性，当我们的df很大或者T0很小时，接受更差值的概率趋近于0。
我们来看看算法流程，考虑一个函数最小化 f(x)的问题。
1. 首先给定一个初始温度 T0, 以及一个初始解 X0，计算 得到 y0
2. 以一定系数(0.99,0.98)减小T0
3. 扰动X0,也就是随机让X0产生一定的变化，变成X1，计算y1 , 比较y1 和y0 的大小
4. y1小于y0, 即说明新的解比上次的解要更优，我们接受他，否则，则以一定的概率接受y1这个更差的解。这个概率大小为上式中那个指数函数算出来的值。
5. 在每一个T下重复2，3若干次.
6. 判断T是否达到预设下界或者循环次数是否完成，若是，退出。否，回到步骤2.
我们可以发现，一开始T0是比较大的，则exp(-df/T) 的值也会比较大，也就是说如果一开始落入了局部最优，我们有很大的概率往出跳，随机T的减小，接受更差解的概率变小，最终落到全局最优。
)