前言
计算机视觉系列之学习笔记主要是本人进行学习人工智能(计算机视觉方向)的代码整理。本系列所有代码是用python3编写,在平台Anaconda中运行实现,在使用代码时,默认你已经安装相关的python库,这方面不做多余的说明。本系列所涉及的所有代码和资料可在我的github上下载到,gitbub地址:https://github.com/mcyJacky/DeepLearning-CV,如有问题,欢迎指出。
一、TensorBoard简介
TensorBoard是tensorflow的可视化工具,可用TensorBoard 来展现 TensorFlow 图,绘制图像生成的定量指标图以及显示附加数据。通俗的说就是可以通过一些操作将数据记录到相关文件中,然后再读取文件完成作图。
二、显示MNIST数据分类结构
之前第7篇我们已经对MNIST手写识别数据集进行简单的分类。在此基础上,我们再记录tensorboard的网络结构。这个过程中,我们是通过命名空间定义name_scope和参数命名定义实现,如下:
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
# 批次大小
batch_size = 64
# 计算每个周期的批次大小
n_batch = mnist.train.num_examples // batch_size
# 定义输入的命名空间
with tf.name_scope('input'):
# 两个输入的placeholder
x = tf.placeholder(tf.float32, [None, 784], name='x_input')
y = tf.placeholder(tf.float32, [None, 10], name='y_input')
# 神经网络结构 784-10
with tf.name_scope('layer'):
with tf.name_scope('weights'):
# 权值矩阵
W = tf.Variable(tf.truncated_normal([784,10],stddev=0.1))
with tf.name_scope('bias'):
# 偏置值
b = tf.Variable(tf.zeros([10]) + 0.1)
with tf.name_scope('wx_plus_b'):
z = tf.matmul(x, W) + b
with tf.name_scope('prediction'):
prediction = tf.nn.softmax(z)
# 均方差二次代价函数
with tf.name_scope('loss'):
loss = tf.losses.mean_squared_error(y, prediction)
# 梯度下降法优化器
with tf.name_scope('train'):
train = tf.train.GradientDescentOptimizer(0.3).minimize(loss)
# 求准确率
with tf.name_scope('accuracy'):
# 将结果放在boolean型列表中
with tf.name_scope('correct_predicton'):
correct_predicton = tf.equal(tf.argmax(y,1), tf.argmax(prediction,1))
# 转换为float,求准确率
with tf.name_scope('accuracy'):
accuracy = tf.reduce_mean(tf.cast(correct_predicton, tf.float32))
# 创建会话,进行训练
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
# 将网络结构图写入logdir文件夹下
writer = tf.summary.FileWriter('logdir/', sess.graph)
通过运行上述程序,可以在当前目录下的logdir文件夹下生成对应的event文件,接着我们可以通过打开命令提示符输入:tensorboard --logdir path,其中path表示生成event文件夹所对应的路径。输入成功后可以生成对应tensorboard网络结构的服务器地址及端口,将生成项输入到浏览器中即可访问。如下为生成项:
将生成项输入到浏览器中即可访问,若是访问不了可以将地址改成http://localhost:6006试下。
下面图2.2是我生成的TensorBoard网络结构图:
三、记录MNIST数据
上面已经用tensorboard显示网络结构图。在这个基础上,我们还可以用tensorboard记录网络相关数据,具体如下:
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
# 载入数据集
mnist = input_data.read_data_sets("MNIST_data",one_hot=True)
# 每个批次的大小
batch_size = 64
# 计算一共有多少个批次
n_batch = mnist.train.num_examples // batch_size
# 参数概要
def variable_summaries(var):
with tf.name_scope('summaries'):
mean = tf.reduce_mean(var)
# 平均值
tf.summary.scalar('mean', mean)
with tf.name_scope('stddev'):
stddev = tf.sqrt(tf.reduce_mean(tf.square(var - mean)))
# 标准差
tf.summary.scalar('stddev', stddev)
# 最大值
tf.summary.scalar('max', tf.reduce_max(var))
# 最小值
tf.summary.scalar('min', tf.reduce_min(var))
# 直方图
tf.summary.histogram('histogram', var)
# 命名空间
with tf.name_scope('input'):
# 定义两个placeholder
x = tf.placeholder(tf.float32,[None,784], name='x-input')
y = tf.placeholder(tf.float32,[None,10], name='y-input')
with tf.name_scope('layer'):
# 创建一个简单的神经网络784-10
with tf.name_scope('wights'):
W = tf.Variable(tf.zeros([784,10]),name='W')
variable_summaries(W)
with tf.name_scope('biases'):
b = tf.Variable(tf.zeros([10]),name='b')
variable_summaries(b)
with tf.name_scope('wx_plus_b'):
wx_plus_b = tf.matmul(x,W) + b
with tf.name_scope('softmax'):
prediction = tf.nn.softmax(wx_plus_b)
with tf.name_scope('loss'):
# 二次代价函数
loss = tf.losses.mean_squared_error(y, prediction)
tf.summary.scalar('loss',loss)
with tf.name_scope('train'):
# 使用梯度下降法
train_step = tf.train.GradientDescentOptimizer(0.3).minimize(loss)
# 初始化变量
init = tf.global_variables_initializer()
with tf.name_scope('accuracy'):
with tf.name_scope('correct_prediction'):
# 结果存放在一个布尔型列表中
correct_prediction = tf.equal(tf.argmax(y, 1),tf.argmax(prediction, 1))
with tf.name_scope('accuracy'):
# 求准确率
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
tf.summary.scalar('accuracy',accuracy)
# 合并所有的summary
merged = tf.summary.merge_all()
# 定义会话进行训练
with tf.Session() as sess:
sess.run(init)
writer = tf.summary.FileWriter('logdir/',sess.graph)
for batch in range(5001):
batch_xs,batch_ys = mnist.train.next_batch(batch_size)
summary,_ = sess.run([merged,train_step],feed_dict={x:batch_xs,y:batch_ys})
writer.add_summary(summary, batch)
if batch % 1000==0:
acc = sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels})
print("Iter " + str(batch) + ",Testing Accuracy " + str(acc))
# 计算结果:
# Iter 0,Testing Accuracy 0.3575
# Iter 1000,Testing Accuracy 0.8782
# Iter 2000,Testing Accuracy 0.8952
# Iter 3000,Testing Accuracy 0.9019
# Iter 4000,Testing Accuracy 0.9057
# Iter 5000,Testing Accuracy 0.9086
与tensorboard生成网络结构图一样,通过运行上述程序,可以在当前目录下的logdir文件夹下生成对应的event文件,接着我们可以通过打开命令提示符输入:tensorboard --logdir path,其中path表示生成event文件夹所对应的路径。输入成功后可以生成对应tensorboard网络结构的服务器地址及端口,将生成项输入到浏览器中即可访问。部分数据记录结果如下图3.1所示:
如图3.1所示,tensorboard可以记录网络模型在训练过程中的一些变量数据,通过对变量数据的观察,可以快速直观的知道模型训练的好坏和训练程度,在一定程度上能辅助我们进行网络训练。
【参考】:
1. 城市数据团课程《AI工程师》计算机视觉方向
2. deeplearning.ai 吴恩达《深度学习工程师》
3. 《机器学习》作者:周志华
4. 《深度学习》作者:Ian Goodfellow
转载声明:
版权声明:非商用自由转载-保持署名-注明出处
署名 :mcyJacky
文章出处:https://blog.csdn.net/mcyJacky