Tensorflow中的各种优化器：Optimizer

版权声明：本文为博主原创文章，转载请注明出处！ https://blog.csdn.net/PoGeN1/article/details/84634773

Optimizer:

import tensorflow as tf
tf.train.GradientDescentOptimizer
tf.train.AdadeltaOptimizer
tf.train.AdagradOptimizer
tf.train.AdagradDAOptimizer
tf.train.MomentumOptimizer
tf.train.AdamOptimizer
tf.train.FtrlOptimizer
tf.train.ProximalGradientDescentOptimizer
tf.train.ProximalAdagradOptimizer
tf.train.RMSPropOptimizer

各种优化器对比：

标准梯度下降法：
标准梯度下降先计算所有样本汇总误差，然后根据总误差更新权值
随机梯度下降法：
随机梯度下降法随机抽取一个样本来计算误差，然后更新权值
批梯度下降法
批梯度下降法是一种折中的方案，从总样本中选取一个批次（比如一共有10000个样本，随机选取100个作为一个batch），然后计算这个batch的总误差，根据总误差来更新权值

暂时先写这么多，后续会持续更新细化每一个算法的优缺点，最近被老师逼着写论文，没有很丰富的时间，请各位多多包涵。