Tensorflow中可视化好助手Tensorboard(一)中，已经讲过如何可视化TensorBoard整个神经网络结构的过程。其实TensorBoard还可以可视化训练过程（weights、biase和outputs变化过程）。本篇文章，讲解一下可视化训练过程的图片如何产生。
首先，看效果图：
我们实现的神经网络还是《用Tensorflow构建一个神经网络》中的神经网络。
图1：神经网络中weights、biases、outputs每训练50次参数的变化折现图
第一层：是输入层到隐藏层的参数。因为此隐藏层有10个神经元，所以有10个biase、10个weight、10个output。
第二层：是隐藏层到输出层的参数。有10个weight、1个biase。
图2：在histograms中每层参数的变化
图3：在SCALARS中整个训练过程中误差值的变化
（1）制作输入源
由于我们观察训练过程中神经网络的变化，所以首先要添加一些模拟数据。Python的numpy工具包可以帮助我们制造一些模拟的数据。所以我们先导入这个工具包：
# 导入本次需要的模块 import tensorflow as tf import numpy as np
然后，借助np中的np.linespace()产生随机的数字，同时为了模拟更加真实我们添加了一些噪声，这些噪声是通过np.random.normal()随机产生的。
#################导入数据################################## # 构建所需要的数据。这里的x_data和y_data并不是严格的一元二次函数的关系， # 因为我们多加了一个noise,这样看起来会更像真实情况。 x_data = np.linspace(-1,1,300)[:,np.newaxis] noise = np.random.normal(0,0.05,x_data.shape) y_data = np.square(x_data) - 0.5 + noise
（2）制作Weights和biases的变化图表。
我们希望可以做到图1所示的图表，那么首先从Layer1中开始吧！
在layer中为Weights、biases设置变化图表。
通过图1 我们观察到每个layer后面有一个数字：layer1和layer2。于是我们在add_layer（）方法中添加一个参数n_layer,用来标识层数，并且用变量layer_name代表其每层的名称，代码如下：
def add_layer(inputs,in_size,out_size,n_layer,activation_function=None):
layer_name = "layer%s"%n_layer
with tf.name_scope(layer_name):
## and so on
接下来，我们层中的Weights设置变化图，tensorflow提供了tf.summary.histogram()方法，用来绘制图片，第一个参数是图表的名称，第二个参数是图表要记录的变量。
def add_layer(inputs, in_size, out_size, n_layer, activation_function=None):
## add one more layer and return the output of this layer
layer_name='layer%s'%n_layer
with tf.name_scope(layer_name):
with tf.name_scope('weights'):
Weights= tf.Variable(tf.random_normal([in_size, out_size]),name='W')
# tf.histogram_summary(layer_name+'/weights',Weights) # tensorflow 0.12 以下版的
tf.summary.histogram(layer_name + '/weights', Weights) # tensorflow >= 0.12
##and so no ……
同样的方法，我们对biases进行绘制图标：
with tf.name_scope('biases'):
biases = tf.Variable(tf.zeros([1,out_size])+0.1, name='b')
# tf.histogram_summary(layer_name+'/biase',biases) # tensorflow 0.12 以下版的
tf.summary.histogram(layer_name + '/biases', biases) # Tensorflow >= 0.12
我们对output使用同样的方法：
# tf.histogram_summary(layer_name+'/outputs',outputs) # tensorflow 0.12 以下版本 tf.summary.histogram(layer_name + '/outputs', outputs) # Tensorflow >= 0.12
最终，经过我们的修改，addlayer()方法如下：
# 构造添加一个神经层的函数
def add_layer(inputs,in_size,out_size,n_layer,activation_function=None):
layer_name = "layer%s"%n_layer
with tf.name_scope(layer_name):
with tf.name_scope("weights"):
# 定义weights为一个in_size行，out_size列的随机变量矩阵
Weights = tf.Variable(tf.random_normal([in_size,out_size]),name="W")
tf.summary.histogram(layer_name + "/weights",Weights)
with tf.name_scope("biases"):
biases = tf.Variable(tf.zeros([1,out_size]) + 0.1, name="b")
tf.summary.histogram(layer_name + "/biases", biases)
with tf.name_scope("Wx_plus_b"):
Wx_plus_b = tf.add(tf.matmul(inputs,Weights),biases)
if activation_function is None:
outputs = Wx_plus_b
else:
outputs = activation_function(Wx_plus_b,)
tf.summary.histogram(layer_name + "/outputs", outputs)
return outputs
由于，我们对addlayer添加了一个参数，所以修改之前调用addlayer()函数的地方。对此进行修改：
# 输入层只有一个属性，所以我们就只有一个输入。 # 我设置隐藏层有10个神经元 # 输出层也只有一层 l1 = add_layer(xs,1,10,n_layer=1,activation_function=tf.nn.relu) prediction = add_layer(l1,10,1,n_layer=2,activation_function=None)
（3）设置loss的变化图
Loss的变化图和之前设置的方法略有不同，loss是在tensorBoard的SCALARS下面的，这是由于我们使用的是tf.summary.scalar()方法。具体效果如图3所示。
观看Loss的变化比较重要。当你的loss呈下降的趋势，说明你的神经网络训练是有效果的。代码如下：
with tf.name_scope('loss'):
loss= tf.reduce_mean(tf.reduce_sum(
tf.square(ys- prediction), reduction_indices=[1]))
# tf.scalar_summary('loss',loss) # tensorflow < 0.12
tf.summary.scalar('loss', loss) # tensorflow >= 0.12
（4）给所有训练图进行合并
接下来，我们开始合并打包。tf.summary.merge_all()方法会对我们所有的summaries合并到一起。因此在原有的代码片段中添加：
sess= tf.Session()
# merged= tf.merge_all_summaries() # tensorflow < 0.12
merged = tf.summary.merge_all() # tensorflow >= 0.12
# writer = tf.train.SummaryWriter('logs/', sess.graph) # tensorflow < 0.12
writer = tf.summary.FileWriter("logs/", sess.graph) # tensorflow >=0.12
# sess.run(tf.initialize_all_variables()) # tf.initialize_all_variables() # tf 马上就要废弃这种写法
sess.run(tf.global_variables_initializer()) # 替换成这样就好
（5）训练数据
假定给出了x_data，y_data并且训练1000次。
for i in range(1000):
sess.run(train_step,feed_dict={xs:x_data,ys:y_data})
以上的代码仅仅会绘制出训练的图表，但是不会记录训练的数据。为了较为直观的显示训练过程中每个参数的变化，我们每隔上50次就记录一次结果。同时我们也应该注意，merged也是需要run才能发挥作用的，所以在for循环中写下：
if i % 50 ==0:
result = sess.run(merged,feed_dict={xs:x_data,ys:y_data})
writer.add_summary(result, i)
最后，总体的代码如下：
for i in range(1000):
sess.run(train_step,feed_dict={xs:x_data,ys:y_data})
if i % 50 ==0:
result = sess.run(merged,feed_dict={xs:x_data,ys:y_data})
writer.add_summary(result, i)
好了！终于把代码部分搞定了！下面，运行你的程序。
程序完成之后，你会在你的程序目录中找到产生的logs文件夹和文件夹里放的文件。
（6）在tensorboard中查看效果
在你的终端中，使用命令进入到test目录，然后输入tensorboard --logdir logs，然后终端中会产生一个网址，把这个网址复制到浏览器中，便可以看到神经网络中参数的变化了。
可能遇到的问题：
（1）与Tensorflow兼容的浏览器是“Google Chrome”。使用其他的浏览器不保证所有的内容都能正常显示。
（2）请确保你的Tensorboard指令是在你的logs文件根目录中执行的。如果在其他目录执行，可能不会成功看到图。
给出完整的代码：
#coding:utf-8
# 导入本次需要的模块
import tensorflow as tf
import numpy as np
'''
inputs：输入值
in_size：输入的大小
out_size：输出的大小
activation_function：激活函数
'''
# 构造添加一个神经层的函数
def add_layer(inputs,in_size,out_size,n_layer,activation_function=None):
layer_name = "layer%s"%n_layer
with tf.name_scope(layer_name):
with tf.name_scope("weights"):
# 定义weights为一个in_size行，out_size列的随机变量矩阵
Weights = tf.Variable(tf.random_normal([in_size,out_size]),name="W")
tf.summary.histogram(layer_name + "/weights",Weights)
with tf.name_scope("biases"):
biases = tf.Variable(tf.zeros([1,out_size]) + 0.1, name="b")
tf.summary.histogram(layer_name + "/biases", biases)
with tf.name_scope("Wx_plus_b"):
Wx_plus_b = tf.add(tf.matmul(inputs,Weights),biases)
if activation_function is None:
outputs = Wx_plus_b
else:
outputs = activation_function(Wx_plus_b,)
tf.summary.histogram(layer_name + "/outputs", outputs)
return outputs
#################导入数据##################################
# 构建所需要的数据。这里的x_data和y_data并不是严格的一元二次函数的关系，
# 因为我们多加了一个noise,这样看起来会更像真实情况。
x_data = np.linspace(-1,1,300)[:,np.newaxis]
noise = np.random.normal(0,0.05,x_data.shape)
y_data = np.square(x_data) - 0.5 + noise
# 利用占位符定义我们所需要的神经网络的输入。
# None代表无论输入有多少样本都可以。因为输入只有一个特征，所以这里是1。
with tf.name_scope("inputs"):
xs = tf.placeholder(tf.float32,[None,1], name="x_input")
ys = tf.placeholder(tf.float32,[None,1], name="y_input")
#################导入数据##################################
#################搭建神经网络##################################
# 输入层只有一个属性，所以我们就只有一个输入。
# 我设置隐藏层有10个神经元
# 输出层也只有一层
l1 = add_layer(xs,1,10,n_layer=1,activation_function=tf.nn.relu)
prediction = add_layer(l1,10,1,n_layer=2,activation_function=None)
# 定义损失函数
with tf.name_scope("loss"):
loss = tf.reduce_mean(tf.reduce_sum(tf.square(ys - prediction),reduction_indices=[1]))
tf.summary.scalar("loss",loss)
# 让神经网络通过梯度下降法来训练，这里的0.1是学习率
with tf.name_scope("train"):
train_step = tf.train.GradientDescentOptimizer(0.1).minimize(loss)
# 使用变量时，都要对变量进行初始化
init = tf.initialize_all_variables()
# 定义Session,并用Session来执行init初始化步骤
sess = tf.Session()
merged = tf.summary.merge_all()
writer = tf.summary.FileWriter("logs/",sess.graph)
sess.run(init)
#################搭建神经网络##################################
for i in range(1000):
sess.run(train_step,feed_dict={xs:x_data,ys:y_data})
if i % 50 ==0:
result = sess.run(merged,feed_dict={xs:x_data,ys:y_data})
writer.add_summary(result, i)观看视频笔记：https://morvanzhou.github.io/tutorials/machine-learning/tensorflow/4-2-tensorboard2/