关于局部最优

在开始学习梯度下降的时候，总会有这样的疑问：梯度下降只能到达局部最优，万一到达了一个较大的局部最优，错过了较小的全局最优或是另外一个更小的局部最优，那么是不是算法是失败呢？

其实在机器学习的大数据背景下，随机到达的局部最优点与全局最优点虽然有差距，但是也足够优秀。

---

而且到达局部最优的可能性也不是很大。

单独看一个特征，到达梯度为0的情况有两种：

而100个特征全部到达右边这种情况的概率值约为 $\frac{1}{2^{100}}$。

大部分情况都是某些到达极小值，而其它的在鞍部：