今天看第五章MNIST数字识别问题。
mnist数据集包含了60000张图片作为训练数据（55000训练+5000验证），10000张图片作为测试数据。每个图片为28*28大小的矩阵，处理后的每张图片是一个长度为784的一维数组，数组中的元素对应了图片像素矩阵中的每一个数字。
from tensorflow.examples.tutorials.mnist import input_data mnist=input_data.read_data_sets("/path/to/MNIST_data/", one_hot=True) print("training data size: ",mnist.train.num_examples)#55000 print("validating data size: ",mnist.validation.num_examples)#5000 print("teating data size: ",mnist.test.num_examples)#10000 print("example trainging data : ",mnist.train.images[0]) print("example trainging data label : ",mnist.train.labels[0])#[0. 0. 0. 0. 0. 0. 0. 1. 0. 0.] batch_size=100 xs,ys=mnist.train.next_batch(batch_size) print("X shape: ",xs.shape)#(100, 784) print("Y shape: ",ys.shape)#(10, 784)
下面给出了一个完整的tensorflow程序解决mnist手写体数字识别问题
# -*- coding: utf-8 -*- import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data # MNIST数据集相关的常数 INPUT_NODE = 784 OUT_NODE = 10 # 配置神经网络的参数 LAYER1_NODE = 500#选用一层隐藏层，次数为隐藏层节点数，500个 BATCH_SIZE = 100 LEARNING_RATE_BASE = 0.8 #初始学习率 LEARNING_RATE_DECAY = 0.99 #学习率衰减 REGULARIZATION_RATE = 0.0001 #描述模型复杂度的正则化项在损失函数中的系数 TRAINING_STEPS = 30000 MOVING_AVERAGE_DECAY = 0.99 #滑动平均衰减率 # 计算神经网络的前向传播结果，实现三层全连接神经网络 def inference(input_tensor, avg_class, weights1, biases1, weights2, biases2): if avg_class == None: #若没有提供滑动平均模型类，则直接使用参数当前值 layer1 = tf.nn.relu(tf.matmul(input_tensor, weights1) + biases1) return tf.matmul(layer1, weights2) + biases2 else:#若提供滑动平均模型类，首先使用avg_class.average()得到变量的滑动平均值，即影子变量 layer1 = tf.nn.relu(tf.matmul(input_tensor, avg_class.average(weights1)) + avg_class.average(biases1)) return tf.matmul(layer1, avg_class.average(weights2)) + avg_class.average(biases2) # 训练模型的过程 def train(mnist): x = tf.placeholder(tf.float32, [None, INPUT_NODE], name='x-input')#784 y_ = tf.placeholder(tf.float32, [None, OUT_NODE], name='y-input')#10 #生成隐藏层和输出层的参数的参数 weights1 = tf.Variable(tf.truncated_normal([INPUT_NODE, LAYER1_NODE], stddev=0.1))#784,500 #truncated_normal产生正太分布的值如果与均值的差值大于两倍的标准差，那就重新生成。 biases1 = tf.Variable(tf.constant(0.1, shape=[LAYER1_NODE]))#500 weights2 = tf.Variable(tf.truncated_normal([LAYER1_NODE, OUT_NODE], stddev=0.1))#500,10 biases2 = tf.Variable(tf.constant(0.1, shape=[OUT_NODE]))#10 #计算当前参数下前向传播的结果 y，训练时前向传播不使用滑动平均模型 y = inference(x, None, weights1, biases1, weights2, biases2) #定义存储训练轮数的变量。这个变量不需要计算滑动平均值，所以这里指定这个变量为不可训练的变量trainable=False global_step = tf.Variable(0, trainable=False)#0 #初始化一个滑动平均的类 variables_averages = tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY, global_step)#0.99，0 #在所有神经网络参数上使用滑动平均，其他辅助变量例如global_step就不需要了， #tf.trainable_variables返回的就是图上集合Graphkeys.trainable_variables中的元素，这个集合的元素就是所有没有指定 #trainable=False的参数 variables_averages_op = variables_averages.apply(tf.trainable_variables()) #计算使用滑动平均参数后的前向传播的结果 average_y = inference(x, variables_averages, weights1, biases1, weights2, biases2) #计算交叉熵，函数中第一个参数是神经网络不包含softmax层的前向传播结果，第二个是训练数据的正确答案。 #因为标准答案是一个长度为10的一维数组，而该函数需要提供的是一个正确答案的数字，所以要用argmax得到正确答案对应的类别编号 cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y, labels=tf.argmax(y_, 1)) #当前batch中的所有样例的交叉熵平均值 cross_entropy_mean = tf.reduce_mean(cross_entropy) #tf.argmax(vector, 1)：返回的是vector中的最大值的索引值 #计算L2正则化损失函数 regularizer = tf.contrib.layers.l2_regularizer(REGULARIZATION_RATE)#0.0001 #计算模型的正则化损失 regularization = regularizer(weights1) + regularizer(weights2) #总损失 loss = cross_entropy_mean + regularization #定义指数衰减式的学习率 learning_rate = tf.train.exponential_decay(LEARNING_RATE_BASE, global_step, mnist.train.num_examples/BATCH_SIZE, LEARNING_RATE_DECAY) train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss, global_step=global_step) #在训练神经网络模型时，每过一遍数据既需要通过反向传播来更新神经网络中的参数，又要更新每一个参数的滑动平均值 #为了一次完成多个操作，tensorflow提供了下面的机制 train_op = tf.group(train_step, variables_averages_op) #打包 #检验使用滑动平均模型的神经网络前向传播结果是否正确。average_y是一个batch_size*10的二维数组，每一行表示一个样例的前向 #传播结果。1代表选取最大值的操作尽在第一个维度中进行，即只在每一行选取最大值对应的下标，于是得到一个长度为batch的一维 #数组 correct_prediction = tf.equal(tf.argmax(average_y, 1), tf.argmax(y_, 1)) #判断两张量的每一维是否相等，相等返回True，不等返回False #现将一个bool类型的值变为实数值，然后计算平均值。这个平均值就是模型在这个一维数据上的正确率 accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))#cast将布尔值转化为float32 求均值即得正确率 with tf.Session() as sess: sess.run(tf.initialize_all_variables()) #生成验证数据 validate_feed = {x: mnist.validation.images, y_: mnist.validation.labels} test_feed = {x:mnist.test.images, y_:mnist.test.labels} for i in range(TRAINING_STEPS):#30000 if i%1000 == 0: #计算滑动平均模型在验证数据集上的结果 validate_acc = sess.run(accuracy, feed_dict=validate_feed) print("After %d training steps, validation accuracy using average model is %g" %(i, validate_acc)) xs, ys = mnist.train.next_batch(BATCH_SIZE)#100 sess.run(train_op, feed_dict={x: xs, y_: ys}) test_acc = sess.run(accuracy, feed_dict=test_feed) print(("After %d training step(s), test accuracy using average model is %g" % (TRAINING_STEPS, test_acc))) def main(argv=None): #声明处理mnist数据集的类，这个类会在初始化时自动下载数据 mnist = input_data.read_data_sets("MNIST_data", one_hot=True) train(mnist) if __name__ == '__main__': tf.app.run()
为了测评神经网络模型在不同参数下的效果，一般会从训练数据中提取一部分作为验证数据。
例如上面代码就给出了在每1000轮迭代后，使用了滑动平均模型在验证数据和测试数据上的正确率。
tensorflow中用于保存和提取模型的API为 tf.train.Saver类，saver.save可以将模型保存为 ckpt 格式.
下面为tensorflow最佳实践样例程序。
首先定义前向传播过程及其中间的参数
# -*- coding: utf-8 -*- import tensorflow as tf # 定义神经网络结构相关的参数 INPUT_NODE = 784 OUTPUT_NODE = 10 LAYER1_NODE = 500 # 通过tf.get_variable函数来获取变量。在训练神经网络时会创建这些变量；在测试时会通 # 过保存的模型加载这些变量的取值。而且更加方便的是，因为可以在变量加载时将滑动平均变 # 量重命名，所以可以直接通过相同的名字在训练时使用变量自身，而在测试时使用变量的滑动 # 平均值。在这个函数中也会将变量的正则化损失加入到损失集合。 def get_weight_variable(shape, regularizer): weights = tf.get_variable( "weights", shape, initializer=tf.truncated_normal_initializer(stddev=0.1) ) # 当给出了正则化生成函数时，将当前变量的正则化损失加入名字为losses的集合。在这里 # 使用了add_to_collection函数将一个张量加入一个集合，而这个集合的名称为losses。 # 这是自定义的集合，不在TensorFlow自动管理的集合列表中。 if regularizer != None: tf.add_to_collection('losses', regularizer(weights)) return weights # 定义神经网络的前向传播过程 def inference(input_tensor, regularizer): # 声明第一层神经网络的变量并完成前向传播过程。 with tf.variable_scope('layer1'): # 这里通过tf.get_variable或者tf.Variable没有本质区别，因为在训练或者测试 # 中没有在同一个程序中多次调用这个函数。如果在同一个程序中多次调用，在第一次 # 调用之后需要将reuse参数设置为True。 weights = get_weight_variable( [INPUT_NODE, LAYER1_NODE], regularizer ) biases = tf.get_variable( "biases", [LAYER1_NODE], initializer=tf.constant_initializer(0.0) ) layer1 = tf.nn.relu(tf.matmul(input_tensor, weights)+biases) # 类似的声明第二层神经网络的变量并完成前向传播过程。 with tf.variable_scope('layer2'): weights = get_weight_variable( [LAYER1_NODE, OUTPUT_NODE], regularizer ) biases = tf.get_variable( "biases", [OUTPUT_NODE], initializer=tf.constant_initializer(0.0) ) layer2 = tf.matmul(layer1, weights) + biases # 返回最后前向传播的结果 return layer2
接下来为训练过程
# -*- coding: utf-8 -*- import os import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data import mnist_inference # 配置神经网络的参数。 BATCH_SIZE = 100 LEARNING_RATE_BASE = 0.8 LEARNING_RATE_DECAY = 0.99 REGULARIZATION_RATE = 0.0001 TRAINING_STEPS = 30000 MOVING_AVERAGE_DECAY = 0.99 # 模型保存的路径和文件名 MODEL_SAVE_PATH = "./model/" MODEL_NAME = "model.ckpt" def train(mnist): # 定义输入输出placeholder。 x = tf.placeholder(tf.float32, [None, mnist_inference.INPUT_NODE], name='x-input') y_ = tf.placeholder(tf.float32, [None, mnist_inference.OUTPUT_NODE], name='y-input') regularizer = tf.contrib.layers.l2_regularizer(REGULARIZATION_RATE) # 直接使用mnist_inference.py中定义的前向传播过程 y = mnist_inference.inference(x, regularizer) global_step = tf.Variable(0, trainable=False) # 定义损失函数、学习率、滑动平均操作以及训练过程 variable_averages = tf.train.ExponentialMovingAverage( MOVING_AVERAGE_DECAY, global_step ) variable_averages_op = variable_averages.apply( tf.trainable_variables() ) cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits( logits=y, labels=tf.argmax(y_, 1) ) cross_entropy_mean = tf.reduce_mean(cross_entropy) loss = cross_entropy_mean + tf.add_n(tf.get_collection('losses')) learning_rate = tf.train.exponential_decay( LEARNING_RATE_BASE, global_step, mnist.train.num_examples / BATCH_SIZE, LEARNING_RATE_DECAY ) train_step = tf.train.GradientDescentOptimizer(learning_rate)\ .minimize(loss, global_step=global_step) with tf.control_dependencies([train_step, variable_averages_op]): train_op = tf.no_op(name='train') # 初始化TensorFlow持久化类 saver = tf.train.Saver() with tf.Session() as sess: tf.global_variables_initializer().run() # 在训练过程中不再测试模型在验证数据上的表现，验证和测试的过程将会有一个独 # 立的程序来完成。 for i in range(TRAINING_STEPS): xs, ys = mnist.train.next_batch(BATCH_SIZE) _, loss_value, step = sess.run([train_op, loss, global_step], feed_dict={x: xs, y_: ys}) # 每1000轮保存一次模型 if i % 1000 == 0: # 输出当前的训练情况。这里只输出了模型在当前训练batch上的损失 # 函数大小。通过损失函数的大小可以大概了解训练的情况。在验证数 # 据集上正确率的信息会有一个单独的程序来生成 print("After %d training step(s), loss on training " "batch is %g." % (step, loss_value)) # 保存当前的模型。注意这里给出了global_step参数，这样可以让每个 # 被保存的模型的文件名末尾加上训练的轮数，比如“model.ckpt-1000”， # 表示训练1000轮之后得到的模型。 saver.save( sess, os.path.join(MODEL_SAVE_PATH, MODEL_NAME), global_step=global_step ) def main(argv=None): mnist = input_data.read_data_sets("./data", one_hot=True) train(mnist) if __name__ == "__main__": tf.app.run()
预测代码
# -*- coding: utf-8 -*- import time import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data # 加载mnist_inference.py 和mnist_train.py中定义的常量和函数。 import mnist_inference import mnist_train # 每10秒加载一次最新的模型，并且在测试数据上测试最新模型的正确率 EVAL_INTERVAL_SECS = 10 def evaluate(mnist): with tf.Graph().as_default() as g: # 定义输入输出的格式。 x = tf.placeholder( tf.float32, [None, mnist_inference.INPUT_NODE], name='x-input' ) y_ = tf.placeholder( tf.float32, [None, mnist_inference.OUTPUT_NODE], name='y-input' ) validate_feed = {x: mnist.validation.images, y_: mnist.validation.labels} # 直接通过调用封装好的函数来计算前向传播的结果。因为测试时不关注ze正则化损失的值 # 所以这里用于计算正则化损失的函数被设置为None。 y = mnist_inference.inference(x, None) # 使用前向传播的结果计算正确率。如果需要对未知的样例进行分类，那么使用 # tf.argmax(y,1)就可以得到输入样例的预测类别了。 correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1)) accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32)) # 通过变量重命名的方式来加载模型，这样在前向传播的过程中就不需要调用求滑动平均 # 的函数来获取平均值了。这样就可以完全共用mnist_inference.py中定义的 # 前向传播过程。 variable_averages = tf.train.ExponentialMovingAverage( mnist_train.MOVING_AVERAGE_DECAY ) variables_to_restore = variable_averages.variables_to_restore() saver = tf.train.Saver(variables_to_restore) # 每隔EVAL_INTERVAL_SECS秒调用一次计算正确率的过程以检验训练过程中正确率的 # 变化。 while True: with tf.Session() as sess: # tf.train.get_checkpoint_state函数会通过checkpoint文件自动 # 找到目录中最新模型的文件名。 ckpt = tf.train.get_checkpoint_state( mnist_train.MODEL_SAVE_PATH ) if ckpt and ckpt.model_checkpoint_path: # 加载模型。 saver.restore(sess, ckpt.model_checkpoint_path) # 通过文件名得到模型保存时迭代的轮数。 global_step = ckpt.model_checkpoint_path\ .split('/')[-1].split('-')[-1] accuracy_score = sess.run(accuracy, feed_dict=validate_feed) print("After %s training step(s), validation " "accuracy = %g" % (global_step, accuracy_score)) else: print("No checkpoint file found") return time.sleep(EVAL_INTERVAL_SECS) def main(argv=None): mnist = input_data.read_data_sets("./data", one_hot=True) evaluate(mnist) if __name__ == "__main__": tf.app.run()