(8) 数字识别2.0神经网络改进案例(代价函数)

1.案例

与上一版比较:
1.改进了代价函数
2. 为了更好体现效果去掉了中间层,只留下了输入与输出层(这个不是改进)

import tensorflow as tf
#导入手写数字相关工具包
from tensorflow.examples.tutorials.mnist import input_data
#载入数据集,这个语句会自动下载数据集,若网速慢也可以自己下载
mnist=input_data.read_data_sets("MNIST_data",one_hot=True)
Extracting MNIST_data\train-images-idx3-ubyte.gz
Extracting MNIST_data\train-labels-idx1-ubyte.gz
Extracting MNIST_data\t10k-images-idx3-ubyte.gz
Extracting MNIST_data\t10k-labels-idx1-ubyte.gz
#定义每次放入神经网路的图片数量,也就是训练数量
batch_size=50
#计算共有多少批次,mnist.train.num_examples代表训练数据的数量
n_batch=mnist.train.num_examples//batch_size

#定义两个placeholder
#[None,784]:行数不定,但有784列(因为图片像素是28*28=784,数据集表示为60000*784,因此此处列数也为784)
x=tf.placeholder(tf.float32,[None,784])
#[None,10]:数据集中每个数字可分为0到9十个类
y=tf.placeholder(tf.float32,[None,10])

#创建简单的神经网络:输入层784个神经元,输出层10个神经元
w=tf.Variable(tf.zeros([784,10])) #权值,连接输入和输出
b=tf.Variable(tf.zeros([10]))   #偏置值
prediction=tf.nn.softmax(tf.matmul(x,w)+b)  # 通过tf.matmul(x,w)+b计算出信号总和,再通过softmax转为概率值

# #二次代价函数作为损失函数(原版本)
# loss=tf.reduce_mean(tf.square(y-prediction))

#使用对数似然函数作为代价函数(后面加v2,不加的那个函数即将被废弃)
loss=tf.nn.softmax_cross_entropy_with_logits_v2(labels=y,logits=prediction)

#使用梯度下降法来最小化loss
train_step=tf.train.GradientDescentOptimizer(0.05).minimize(loss)

#定义准确率,来求训练好的模型的预测值准不准确:
#tf.argmax(y,1)是返回y所有类中概率最大的那个;equal是比较两个参数是否相等,返回bool类型
#因为tf.argmax(y,1)的结果是列表,因此correct_prediction也是列表
correct_prediction=tf.equal(tf.argmax(y,1),tf.argmax(prediction,1))
#接下来求准确率,tf.cast()是将bool类型的值转换为浮点型;再用reduce_mean()求平均值得出概率
accuracy=tf.reduce_mean(tf.cast(correct_prediction,tf.float32))

#初始化变量
init=tf.global_variables_initializer()

with tf.Session() as sess:
    sess.run(init)
    for num in range(21):  #一共训练 21 次
        for i in range(n_batch):    # n_batch是训练数据的批次数量
            #获得当前批次的图片,图片数据保存在batchX,图片标签保存在batchY
            batchX,batchY=mnist.train.next_batch(batch_size)
            sess.run(train_step,feed_dict={x:batchX,y:batchY})
        #每训练完一次,看一次准确率,传的数据是测试集的图片和标签
        print("第{0}次准确率:".format({num}),sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels}))
第{0}次准确率: 0.9149
第{1}次准确率: 0.9191
第{2}次准确率: 0.9195
第{3}次准确率: 0.9222
第{4}次准确率: 0.9246
第{5}次准确率: 0.9243
第{6}次准确率: 0.9259
第{7}次准确率: 0.9283
第{8}次准确率: 0.9292
第{9}次准确率: 0.928
第{10}次准确率: 0.9286
第{11}次准确率: 0.9277
第{12}次准确率: 0.9284
第{13}次准确率: 0.9291
第{14}次准确率: 0.9281
第{15}次准确率: 0.9289
第{16}次准确率: 0.9298
第{17}次准确率: 0.9297
第{18}次准确率: 0.9279
第{19}次准确率: 0.9276
第{20}次准确率: 0.929

2.选择适当的代价函数

2.1 二次代价函数

在这里插入图片描述
在这里插入图片描述
但是二次代价函数对于S型曲线的激活函数,调整时有一定缺陷,比如:
在这里插入图片描述

2.2 交叉熵代价函数

在这里插入图片描述
在这里插入图片描述

2.3对数似然函数

在这里插入图片描述

发布了71 篇原创文章 · 获赞 3 · 访问量 1917

猜你喜欢

转载自blog.csdn.net/qq_34405401/article/details/104343273