在现实的任务上，“跳出”局部最小值可以有三种思想进行考虑。
1.以多组不同的参数值初始化多个神经网络，按标准化方法训练后，取其中误差最小的解作为最终的参数，这相当于从多个不同的初始点开始进行探索，这样就可能陷入不同的局部极小，从中进行有可能获得更接近全局最小的结果.
2. 使用“模拟退火”技术,“模拟退火”在每一步都会以一定的概率接受比当前更差的结果，从而有助于“跳出”局部最小，在每一步的迭代的过程中，接受“次优解”的概率要随着时间的推移而不断的降低.
比如上面的图，我们基于“爬山法”思想进行全局最大值的寻找，从C点开始，那么我们将会逐渐收敛于A点，陷入到局部的最值中，实质上，我们的最大值是B点，那么使用“模拟退火”的思想时，在A点时，会以一定的概率进行局部最值得调整，使其避免陷入局部的最值，比如我们以一定的概率将其点调整到D点，那么我们从D点，就可以逐渐收敛到全局的最大值，这就是“模拟退火”的思想.
3. 使用“随机梯度下降”,与标准梯度下降精确计算梯度不一样，随机梯度下降法在计算梯度时加入随机的因素，于是即便其陷入到局部的极小值点，他计算的梯度仍可能不为0，这样就有可能跳出局部的极小值而继续进行搜索。
随机梯度下降，我们主要是集中于单例进行考虑问题的，与标准梯度下降还是有区别的.