一起学TensorFlow（一）---快速入门（2）

之前学到了TensorFlow中最基本的3个部分：计算图、张量和会话，复习请看一起学TensorFlow（一）---快速入门（1）

今天我们来使用随机数简单的了解一下神经网络训练的过程

在此先总结为3个步骤：

（1）定义神经网络的结构和前向传播的输出结果

（2）定义损失函数以及选择反向传播优化的算法

（3）生成会话，并且在训练数据上反复运行反向传播优化算法

在模拟数据集上训练神经网络

import tensorflow as tf
from numpy.random import RandomState
#定义训练数据batch的大小
batch_size = 8

#定义神经网络参数
w1 = tf.Variable(tf.random_normal([2,3],stddev=1,seed=1))
w2 = tf.Variable(tf.random_normal([3,1],stddev=1,seed=1))

#在shape的一个维度上使用None可以方便使用不大的batch大小
#在训练时需要把数据分成较小的batch，但是在测试时可以一次性使用全部数据，当数据集比较小时这样比较方便测试
#但数据集比较大时，将大量数据放入一个batch可能会导致内存溢出
x = tf.placeholder(tf.float32,shape=(None,2),name='x-input')
y_ = tf.placeholder(tf.float32,shape=(None,1),name='y-input')

#定义前向传播过程
a = tf.matmul(x,w1)
y = tf.matmul(a,w2)

#定义损失函数和反向传播的算法
cross_entropy = -tf.reduce_mean(y_ * tf.log(tf.clip_by_value(y,1e-10,1.0)))
train_step = tf.train.AdamOptimizer(0.001).minimize(cross_entropy)

#通过随机数生成一个模拟数据集
rdm = RandomState(1)
dataset_size = 128
X = rdm.rand(dataset_size,2)
#定义规则来给出样本标签，在这里所有x1+x2<1的样例被认为是正样本，而其他为负样本。0表示负样本，1表示正样本
Y = [[int(x1+x2 < 1)] for (x1,x2) in X]

#创建一个会话来执行TensorFlow程序
with tf.Session() as sess:
    init_op = tf.initialize_all_variables()
    sess.run(init_op)
    print(sess.run(w1))
    print(sess.run(w2))

    #设定训练的轮数
    STEPS = 5000
    for i in range(STEPS):
        #每次选batch_size个样本进行训练
        start = (i * batch_size) %dataset_size
        end = min(start + batch_size,dataset_size)

        #通过选取的样本训练神经网络，并更新参数
        sess.run(train_step,feed_dict={x:X[start:end],y_:Y[start:end]})
        if i %1000 == 0:
            total_cross_entropy = sess.run(cross_entropy,feed_dict={x:X,y_:Y})
            print("After %d training step(s),cross entropy on all data is %g" % (i,total_cross_entropy))

    print(sess.run(w1))
    print(sess.run(w2))

输出结果：

[[-0.81131822  1.48459876  0.06532937]
 [-2.4427042   0.0992484   0.59122431]]
[[-0.81131822]
 [ 1.48459876]
 [ 0.06532937]]
After 0 training step(s),cross entropy on all data is 0.0674925
After 1000 training step(s),cross entropy on all data is 0.0163385
After 2000 training step(s),cross entropy on all data is 0.00907547
After 3000 training step(s),cross entropy on all data is 0.00714436
After 4000 training step(s),cross entropy on all data is 0.00578471
[[-1.96182752  2.58235407  1.68203771]
 [-3.46817183  1.06982315  2.11788988]]
[[-1.82471502]
 [ 2.68546653]
 [ 1.41819501]]

进程已结束,退出代码0

可以看出来，在不断运行反向传播算法后，交叉熵越来越小，说明预测值越来越准确。