我们一般认为神经网络会有局部最优解
就像三维中的坑洞一样，可能使我们的神经网络陷进去就出不来了
其实不是这样的
可以看到，我门的loss其实是一个多维的神经网络
那么对于第i维，我可以大致的认为在这一维，他上升或下降的概率均为0.5
我们知道，如果要形成坑洞的话，我们在这个区域上的所有点的梯度都必须是像下的才行
那这种概率，可以去买彩票了
所以，如果训练变慢，大概率是碰到了鞍点
这个时候，没事，多训练几次就行了
但是，千万，千万不要加大learning_rate
我也不知道为什么，但是加大learning_rate之后，acc会迅速下降至初值(比如如果是二元分类的话就是50%)
然后重新开始训练