小白都理解的人工智能系列（13）——如何加速神经网络训练过程

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/taczeng/article/details/79182977

问题1：如何加速训练？

SGD将大的数据拆分成一块块小的数据进行训练。

Momentum通过不断调整w值的形式，朝着梯度往下走，以期尽快达到终点。

AdaGrad方式类似于一个鞋子，一走弯路，就让你摔倒，让你不得不走直路，尽快到底目的地。

Adam是结合两者一起，大部分情况下都适用。