(11) 数字识别4.0 准确率98

用前面所学的知识进行优化

1.神经网络中间层为两层

2.优化器的选择

3.代价函数的选择

4.dropout防止过拟合

import tensorflow as tf
#导入手写数字相关工具包（以后还是用kears好，不用担心是否有方法要废弃）
from tensorflow.examples.tutorials.mnist import input_data

#载入数据集,这个语句会自动下载数据集，若网速慢也可以自己下载
mnist=input_data.read_data_sets("MNIST_data",one_hot=True)

Extracting MNIST_data\train-images-idx3-ubyte.gz
Extracting MNIST_data\train-labels-idx1-ubyte.gz
Extracting MNIST_data\t10k-images-idx3-ubyte.gz
Extracting MNIST_data\t10k-labels-idx1-ubyte.gz

#定义每次放入神经网路的图片数量，也就是训练数量
batch_size=100
#计算共有多少批次,mnist.train.num_examples代表训练数据的数量
n_batch=mnist.train.num_examples//batch_size

#定义三个placeholder
#[None,784]：行数不定，但有784列（因为图片像素是28*28=784，数据集表示为60000*784，因此此处列数也为784）
x=tf.placeholder(tf.float32,[None,784])
#[None,10]:数据集中每个数字可分为0到9十个类
y=tf.placeholder(tf.float32,[None,10])
#用来存放dropput工作神经元，若drop设置成1的话就是100%神经元在工作；0.5就是50%神经元在工作
dropWorkNum=tf.placeholder(tf.float32)
#定义一个学习率的变量
learningRate=tf.Variable(0.001,dtype=tf.float32)

#创建简单的神经网络，有两层中间层（隐藏层），第一个隐藏层500个神经元，第二个300个
#连接输入层与中间层1
wMid1=tf.Variable(tf.truncated_normal([784,500],stddev=0.1)) #权值初始化采用迭代的正态分布，标准差为0.1
bMid1=tf.Variable(tf.zeros([500])+0.1)   #偏置值
mid1=tf.nn.tanh(tf.matmul(x,wMid1)+bMid1)
mid1_drop=tf.nn.dropout(mid1,rate = 1-dropWorkNum)

#连接中间层1和中间层2
wMid2=tf.Variable(tf.truncated_normal([500,300],stddev=0.1)) #权值初始化采用迭代的正态分布，标准差为0.1
bMid2=tf.Variable(tf.zeros([300])+0.1)   #偏置值
mid2=tf.nn.tanh(tf.matmul(mid1_drop,wMid2)+bMid2)
mid2_drop=tf.nn.dropout(mid2,rate = 1-dropWorkNum)

#连接中间层2与输出层
wMid3=tf.Variable(tf.truncated_normal([300,10],stddev=0.1)) #权值初始化采用迭代的正态分布，标准差为0.1
bMid3=tf.Variable(tf.zeros([10])+0.1)   #偏置值
prediction=tf.nn.softmax(tf.matmul(mid2_drop,wMid3)+bMid3)  # 通过tf.matmul(x,w)+b计算出信号总和，再通过softmax转为概率值

# #二次代价函数作为损失函数(原版本)
# loss=tf.reduce_mean(tf.square(y-prediction))

#使用对数似然函数作为代价函数
loss=tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits_v2(labels=y,logits=prediction))

#使用梯度下降法来最小化loss
train_step=tf.train.AdamOptimizer(learningRate).minimize(loss)

#定义准确率，来求训练好的模型的预测值准不准确：
#tf.argmax(y,1)是返回y所有类中概率最大的那个；equal是比较两个参数是否相等，返回bool类型
#因为tf.argmax(y,1)的结果是列表，因此correct_prediction也是列表
correct_prediction=tf.equal(tf.argmax(y,1),tf.argmax(prediction,1))
#接下来求准确率,tf.cast()是将bool类型的值转换为浮点型；再用reduce_mean()求平均值得出概率
accuracy=tf.reduce_mean(tf.cast(correct_prediction,tf.float32))

#初始化变量
init=tf.global_variables_initializer()

with tf.Session() as sess:
    sess.run(init)
    for num in range(21):  #一共训练 21 次
        # 0.95**num 是0.95的num次方
        sess.run(tf.assign(learningRate,0.001*(0.95**num)))
        for i in range(n_batch):    # n_batch是训练数据的批次数量
            #获得当前批次的图片，图片数据保存在batchX，图片标签保存在batchY
            batchX,batchY=mnist.train.next_batch(batch_size)
            sess.run(train_step,feed_dict={x:batchX,y:batchY,dropWorkNum:0.9})#保留90%的神经元
        testData=sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels,dropWorkNum:1.0})
        print("第{}次的准确率:".format(num),testData)

第0次的准确率: 0.949
第1次的准确率: 0.9582
第2次的准确率: 0.9646
第3次的准确率: 0.9686
第4次的准确率: 0.97
第5次的准确率: 0.9702
第6次的准确率: 0.9747
第7次的准确率: 0.974
第8次的准确率: 0.9768
第9次的准确率: 0.9766
第10次的准确率: 0.976
第11次的准确率: 0.9766
第12次的准确率: 0.9773
第13次的准确率: 0.9781
第14次的准确率: 0.9779
第15次的准确率: 0.9766
第16次的准确率: 0.979
第17次的准确率: 0.9776
第18次的准确率: 0.9794
第19次的准确率: 0.9806
第20次的准确率: 0.9803