基本的MNIST数字识别问题中程序的可扩展性不好，而且计算前向传播的函数需要将所有变量都传入，使程序的可读性变差，程序退出时。训练好的程序无法再次使用等一些列的问题，本文使用变量管理机制和持久化机制实现了MNIST数字识别问题。
mnist_inference.py定义了前向传播过程的过程和神经网络中的参数(在训练和测试过程中都会应用得到，所以提取出来)
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2018/5/16 14:15 # @Author : HJH # @Site : # @File : mnist_inference.py # @Software: PyCharm import tensorflow as tf INPUT_NODE = 784 OUTPUT_NODE = 10 LAYER1 = 500 # 通过tf.get_variable函数来获取变量。在训练神经网络时会创建这些变量；在测试时会通 # 过保存的模型加载这些变量的取值。而且更加方便的是，因为可以在变量加载时将滑动平均变 # 量重命名，所以可以直接通过相同的名字在训练时使用变量自身，而在测试时使用变量的滑动 # 平均值。在这个函数中也会将变量的正则化损失加入到损失集合。 def get_weight_variable(shape,regularizer): Weight=tf.get_variable('Weight',shape,initializer=tf.truncated_normal_initializer(stddev=0.1)) # 当给出了正则化生成函数时，将当前变量的正则化损失加入名字为losses的集合。在这里 # 使用了add_to_collection函数将一个张量加入一个集合，而这个集合的名称为losses。 # 这是自定义的集合，不在TensorFlow自动管理的集合列表中。 if regularizer != None: tf.add_to_collection('losses',regularizer(Weight)) return Weight # 定义神经网络的前向传播过程 def inference(input_tensor,regularizer): # 声明第一层神经网络的变量并完成前向传播过程。 with tf.variable_scope('layer1'): # 这里通过tf.get_variable或者tf.Variable没有本质区别，因为在训练或者测试 # 中没有在同一个程序中多次调用这个函数。如果在同一个程序中多次调用，在第一次 # 调用之后需要将reuse参数设置为True。 Weight=get_weight_variable([INPUT_NODE,LAYER1],regularizer) biase=tf.get_variable('biase',[LAYER1],initializer=tf.constant_initializer(0.0)) layer1=tf.nn.relu(tf.matmul(input_tensor,Weight)+biase) # 类似的声明第二层神经网络的变量并完成前向传播过程。 with tf.variable_scope('layer2'): Weight = get_weight_variable([LAYER1, OUTPUT_NODE], regularizer) biase = tf.get_variable('biase', [OUTPUT_NODE], initializer=tf.constant_initializer(0.0)) layer2 = tf.matmul(layer1, Weight) + biase return layer2
mnist_train.py定义了神经网络的训练过程
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2018/5/16 14:36 # @Author : HJH # @Site : # @File : mnist_train.py # @Software: PyCharm import tensorflow as tf import os from tensorflow.examples.tutorials.mnist import input_data import mnist_inference BATCH_SIZE = 100 LEARNING_RATE_BASE = 0.8 LEARNING_RATE_DECAY = 0.99 REGULARIZATION_RATE = 0.0001 TRAINING_STEPS = 30000 MOVING_AVERAGE_DECAY = 0.99 #模型保存的路径和文件名 MODEL_SAVE_PATH='./path/model/' MODEL_NAME='model.ckpt' def train(mnist): X = tf.placeholder(tf.float32,[None,mnist_inference.INPUT_NODE],name='x_input') y = tf.placeholder(tf.float32, [None, mnist_inference.OUTPUT_NODE], name='y_input') regularizer=tf.contrib.layers.l2_regularizer(REGULARIZATION_RATE) pre_y=mnist_inference.inference(X,regularizer) global_step=tf.Variable(0,trainable=False) variable_average=tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY,global_step) variable_average_op=variable_average.apply(tf.trainable_variables()) cross_entropy=tf.nn.sparse_softmax_cross_entropy_with_logits(logits=pre_y,labels=tf.argmax(y,1)) cross_entropy_mean=tf.reduce_mean(cross_entropy) loss=cross_entropy_mean+tf.add_n(tf.get_collection('losses')) learning_rate=tf.train.exponential_decay(LEARNING_RATE_BASE,global_step, mnist.train.num_examples / BATCH_SIZE, LEARNING_RATE_DECAY) train_step=tf.train.GradientDescentOptimizer(learning_rate).minimize(loss,global_step=global_step) with tf.control_dependencies([train_step,variable_average_op]): train_op=tf.no_op(name='train') # 初始化TensorFlow持久化类 saver=tf.train.Saver() with tf.Session() as sess: init=tf.global_variables_initializer() sess.run(init) for i in range(TRAINING_STEPS): xs,ys=mnist.train.next_batch(BATCH_SIZE) _,loss_value,step=sess.run([train_op,loss,global_step],feed_dict={X:xs,y:ys}) # 每1000轮保存一次模型 if i % 1000 == 0: # 输出当前的训练情况。这里只输出了模型在当前训练batch上的损失 # 函数大小。通过损失函数的大小可以大概了解训练的情况。在验证数 # 据集上正确率的信息会有一个单独的程序来生成 print("After %d training step(s), loss on training " "batch is %g." % (step, loss_value)) # 保存当前的模型。注意这里给出了global_step参数，这样可以让每个 # 被保存的模型的文件名末尾加上训练的轮数，比如“model.ckpt-1000”， # 表示训练1000轮之后得到的模型。 saver.save(sess,os.path.join(MODEL_SAVE_PATH,MODEL_NAME),global_step=global_step) def main(argc=None): mnist=input_data.read_data_sets('MNIST_data',one_hot=True) train(mnist) if __name__=='__main__': tf.app.run()
在创建这个Saver对象的时候，有一个参数我们经常会用到，就是 max_to_keep 参数，这个是用来设置保存模型的个数，默认为5，即 max_to_keep=5，保存最近的5个模型。如果你想每训练一代（epoch)就想保存一次模型，则可以将 max_to_keep设置为None或者0，
但是这样做除了多占用硬盘，并没有实际多大的用处，因此不推荐。当然，如果你只想保存最后一代的模型，则只需要将max_to_keep设置为1即可
mnist_inference.py定义了测试过程(只在最后一个模型上测试)
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2018/5/16 14:58 # @Author : HJH # @Site : # @File : mnist_eval.py # @Software: PyCharm import tensorflow as tf import time from tensorflow.examples.tutorials.mnist import input_data import mnist_inference import mnist_train EVAL_INTERVAL_SECS=10 def evaluate(mnist): with tf.Graph().as_default() as g: X = tf.placeholder(tf.float32, [None, mnist_inference.INPUT_NODE], name='x_input') y = tf.placeholder(tf.float32, [None, mnist_inference.OUTPUT_NODE], name='y_input') validate_feed={X: mnist.validation.images,y: mnist.validation.labels} # 因为测试时不关注正则化损失的值,所以这里用于计算正则化损失的函数被设置为None。 pre_y=mnist_inference.inference(X,None) correct_prediction=tf.equal(tf.argmax(y,1),tf.argmax(pre_y,1)) accuracy=tf.reduce_mean(tf.cast(correct_prediction,tf.float32)) # 通过变量重命名的方式来加载模型，这样在前向传播的过程中就不需要调用求滑动平均 # 的函数来获取平均值了。这样就可以完全共用mnist_inference.py中定义的 # 前向传播过程。 variable_averages=tf.train.ExponentialMovingAverage(mnist_train.MOVING_AVERAGE_DECAY) variables_to_restore=variable_averages.variables_to_restore() saver=tf.train.Saver(variables_to_restore) # 每隔EVAL_INTERVAL_SECS秒调用一次计算正确率的过程以检验训练过程中正确率的变化。 while True: with tf.Session() as sess: # tf.train.get_checkpoint_state函数会通过checkpoint文件自动找到目录中最新模型的文件名 ckpt=tf.train.get_checkpoint_state(mnist_train.MODEL_SAVE_PATH) if ckpt and ckpt.model_checkpoint_path: # 加载模型。 saver.restore(sess,ckpt.model_checkpoint_path) # 通过文件名得到模型保存时迭代的轮数。 global_step = ckpt.model_checkpoint_path.split('/')[-1].split('-')[-1] accuracy_score=sess.run(accuracy,feed_dict=validate_feed) print("After %s training step(s), validation " "accuracy = %g" % (global_step, accuracy_score)) else: print("No checkpoint file found") return time.sleep(EVAL_INTERVAL_SECS) def main(argc=None): mnist=input_data.read_data_sets('MNIST_data',one_hot=True) evaluate(mnist) if __name__=='__main__': tf.app.run()