学习率 - 指数衰减法

在tensorflow中可以调用tf.train.exponential_decay函数来实现指数衰减学习率。这个函数的过程如下：

先使用较大的学习率来快速得到一个比较优的解，然后随着迭代的继续逐渐减小学习率，使得模型在训练期更加稳定。

为防止过拟合引入一种方法：正则化（regularization) 。正则化的思想就是在损失函数中加入刻画模型复杂程度的指标。