python3 11.tensorflow使用不同优化器进行MNIST数据集简单分类学习笔记

文章目录

前言
一、使用不同优化器进行训练

前言

计算机视觉系列之学习笔记主要是本人进行学习人工智能（计算机视觉方向）的代码整理。本系列所有代码是用python3编写，在平台Anaconda中运行实现，在使用代码时，默认你已经安装相关的python库，这方面不做多余的说明。本系列所涉及的所有代码和资料可在我的github上下载到，gitbub地址：https://github.com/mcyJacky/DeepLearning-CV，如有问题，欢迎指出。

一、使用不同优化器进行训练

本篇对MNIST进行分类，除了使用与之前不同的优化器外，其余内容都相同或类似。我们通常用的优化器如下：

tf.train.GradientDescentOptimizer
tf.train.AdadeltaOptimizer
tf.train.MomentumOptimizer
tf.train.AdamOptimizer
tf.train.RMSPropOptimizer

我们常用Adam优化器进行训练，下面就是具体Adam的优化器进行MNIST数据集分类：

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

#载入数据集
mnist = input_data.read_data_sets("MNIST_data",one_hot=True)

#每个批次的大小
batch_size = 64
#计算一共有多少个批次
n_batch = mnist.train.num_examples // batch_size

#定义两个placeholder
x = tf.placeholder(tf.float32,[None,784])
y = tf.placeholder(tf.float32,[None,10])

#创建一个简单的神经网络
W = tf.Variable(tf.zeros([784,10]))
b = tf.Variable(tf.zeros([10]))
prediction = tf.nn.softmax(tf.matmul(x,W)+b)

#交叉熵代价函数
# loss = tf.losses.softmax_cross_entropy(y,prediction)
loss = tf.losses.mean_squared_error(y,prediction)
#使用梯度下降法
# train_step = tf.train.GradientDescentOptimizer(0.2).minimize(loss)
#使用Adam优化器
train_step = tf.train.AdamOptimizer(0.001).minimize(loss)

#初始化变量
init = tf.global_variables_initializer()

#结果存放在一个布尔型列表中
correct_prediction = tf.equal(tf.argmax(y,1),tf.argmax(prediction,1))#argmax返回一维张量中最大的值所在的位置
#求准确率
accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))

with tf.Session() as sess:
    sess.run(init)
    for epoch in range(21):
        for batch in range(n_batch):
            batch_xs,batch_ys =  mnist.train.next_batch(batch_size)
            sess.run(train_step,feed_dict={x:batch_xs,y:batch_ys})
        
        acc = sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels})
        print("Iter " + str(epoch) + ",Testing Accuracy " + str(acc)

#部分计算结果：
# Iter 0,Testing Accuracy 0.9106
# Iter 1,Testing Accuracy 0.921
# Iter 2,Testing Accuracy 0.9261
# Iter 3,Testing Accuracy 0.9277
# Iter 4,Testing Accuracy 0.9291
# Iter 5,Testing Accuracy 0.9315
# ...
# Iter 12,Testing Accuracy 0.9324
# Iter 13,Testing Accuracy 0.9339
# Iter 14,Testing Accuracy 0.9321
# Iter 15,Testing Accuracy 0.9322
# Iter 16,Testing Accuracy 0.934
# Iter 17,Testing Accuracy 0.9326
# Iter 18,Testing Accuracy 0.9331
# Iter 19,Testing Accuracy 0.9334
# Iter 20,Testing Accuracy 0.9334

本例只是简单展示使用Adam优化器的用法，在实际项目中使用不同的优化器会达到不一样的效果。

【参考】：
   1. 城市数据团课程《AI工程师》计算机视觉方向
   2. deeplearning.ai 吴恩达《深度学习工程师》
   3. 《机器学习》作者：周志华
   4. 《深度学习》作者：Ian Goodfellow

转载声明：
版权声明：非商用自由转载-保持署名-注明出处
署名：mcyJacky
文章出处：https://blog.csdn.net/mcyJacky