深度学习神经网络 MNIST手写数据辨识 1 前向传播和反向传播

首先是前向传播的程序。为了更清晰我们分段讲解。

第一部分导入模块，并设置输入节点为28*28，输出节点为10（0到9共10个数字），第一层的节点为500（随便设的）

import tensorflow as tf
INPUT_NODE = 784
OUTPUT_NODE = 10
LAYER1_NODE = 500

然后是生成单个层次网络的结构，判断损失函数是否加入正则

#定义神经网络的输入，参数和输出，定义前向传播过程
def get_weight(shape,regularizer):
    w = tf.Variable(tf.random_normal(shape,stddev=0.1),dtype=tf.float32) #生成随机参数
    if regularizer != None:
        tf.add_to_collection('losses',tf.contrib.layers.l2_regularizer(regularizer)(w))
    return w

同时设置偏置项，偏置项不需要正则化。

def get_bias(shape):
    b = tf.Variable(tf.constant(0.01,shape=shape))
    return b

在总的前向传播网络中设置两层网络：

def forward(x,regularizer):
    w1 = get_weight([INPUT_NODE,LAYER1_NODE],regularizer)
    b1 = get_bias([LAYER1_NODE])
    y1 = tf.nn.relu(tf.matmul(x,w1)+b1)

    w2 = get_weight([LAYER1_NODE, OUTPUT_NODE], regularizer)
    b2 = get_bias([OUTPUT_NODE])
    y = tf.matmul(y1, w2) + b2

    return y

然后反向传播。这里实现了一种机制：每次训练前，先查看一下已有的模型，

首先仍然是加载模型和设置初始常量：正则系数为0.0001，不算很大。然后滑动平均值衰减设为0.99.

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
import mnist_forward2
import os


BATCH_SIZE = 200
LEARNING_RATE_BASE = 0.1
LEARNING_RATE_DECAY = 0.99
REGULARIZER = 0.0001

STEPS = 50000

MOVING_AVERAGE_DECAY = 0.99

MODEL_SAVE_PATH="./model/" #模型保存路径
MODEL_NAME="mnist_model" #模型保存文件名

然后是反向传播函数  def backward(mnist) ：

输入数据和输出占位就先不说了，这里提一下损失函数：

采用最后输出为softmax的网络激活函数，并把损失函数定义为交叉熵

    #定义损失函数
    ce = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y,labels=tf.argmax(y_,1))
    cem = tf.reduce_mean(ce)
    loss = cem + tf.add_n(tf.get_collection('losses'))

学习率的设置方法和以前一样，然后定义反向传播方法，并设置和启用滑动平均值。

之后我们使用保存模型的函数：

    saver = tf.train.Saver()

在会话中我们先查看模型目录下有没有训练好的模型和参数，如果有，就恢复：

    with tf.Session() as sess:
        ckpt = tf.train.get_checkpoint_state(MODEL_SAVE_PATH)
        if ckpt and ckpt.model_checkpoint_path:  # 先判断是否有模型
            saver.restore(sess, ckpt.model_checkpoint_path)  # 恢复模型到当前会话
            #可以观察到当前的会话已经包含当前的正确globalstep了

            currentstep = ckpt.model_checkpoint_path.split('/')[-1].split('-')[-1]
            print(currentstep)

值得注意的是，我们之前在当前的模型里使用了滑动平均值，这里恢复的时候恢复了滑动平均后的数据，然后继续根据global_step来计算新的滑动平均值。而且，因为在模型中我们嵌入了global_step，所以恢复的时候，global_step也被恢复了。

然后开始训练。

        for i in range(STEPS):
            xs,ys = mnist.train.next_batch(BATCH_SIZE)
            _,loss_value,step = sess.run([train_op,loss,global_step],feed_dict={x:xs,y_:ys})
            if i % 1000 == 0:
                print("After " + str(i) + " steps, loss is: " + str(loss_value))
                saver.save(sess,os.path.join(MODEL_SAVE_PATH,MODEL_NAME),global_step=global_step)

设置自动执行的函数main() :

def main():
    mnist = input_data.read_data_sets("./data/",one_hot=True)
    backward(mnist)

if __name__ == '__main__':
    main()

现在前向传播和后向传播都已经设置好了。大家多运行几次，就会发现每次都是从上一次训练好的模型中开始然后继续训练的。