二分类神经网络

版权声明：转载请注明出处。 https://blog.csdn.net/Xin_101/article/details/82260173

1 二分类神经网络结构

图1.1 神经网络结构

图1.2 输入层-隐藏层

图1.3 隐藏层-输出层

图1.4 输出-激活

2 源码及解析

import tensorflow as tf
from numpy.random import RandomState 

#每批训练数据的量(多少)
batch_size = 8

#权重
w1 = tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1))
w2 = tf.Variable(tf.random_normal([3, 1], stddev=1, seed=1))

#输入
x = tf.placeholder(tf.float32, shape=(None,2), name='x-input')
y_ = tf.placeholder(tf.float32, shape=(None,1), name='y-input')

#前向传播
a = tf.matmul(x,w1)
y = tf.matmul(a,w2)

#反向传播--激活函数
y = tf.sigmoid(y)

#反向传播--损失函数
cross_entropy = -tf.reduce_mean(y_*tf.log(tf.clip_by_value(y, 1e-10,1.0))
    +(1-y)*tf.log(tf.clip_by_value(1-y,1e-10,1.0)))

#优化
train_step = tf.train.Adamoptimizer(0.001).minimize(cross_entropy)

#实验--模拟数据128x2维
rdm = RandomState(1)
dataset_size = 128
X = rdm.rand(dataset_size, 2)
Y = [[int(x1+x2 < 1)] for (x1, x2) in X]

#创建会话
with tf.Session() as sess:
    #初始化变量
    init_op = tf.global_varibales_initializer()
    sess.run(init_op)
    #设定训练次数
    STEPS = 9000
    for i in range(STEPS)
    #批量训练：batch_size
    start = (i * batch_size)%dataset_size
    end = min(start+batch_size, dataset_size)
    #更新参数
    sess.run(train.step,
        feed_dict={x: X[start:end], y_: Y[start:end]})
    #定期输出
    if i % 1000 ==0:
        #计算交叉熵
        total_cross_entropy = sess.run(
            corss_entropy, feed_dict={x:X, y_:Y})
        print("After %d  training step(s), corss_entropy on all data is %g" 
            %(i, total_corss_entropy))
    print("Final w1=", sess.run(w1))
    print("Final w2=", sess.run(w2))

3 结果及分析

图3.1 运行结果

　　通过8000轮的训练，交叉熵的值逐渐减小，表明预测值和实际值误差逐渐减小，预测更加准确。初始权重Init w1和Init w2在神经网络的训练过程中，发生变化，最终输出训练结果，最终权重Final w1和Final w2。

4 总结

神经网络训练过程

• 1.定义神经网络结构及前向传播结果；
• 2.定义损失函数及选择反向传播优化算法；
• 3.定义会话，训练。

---

[拓展阅读]
[1]神经网络之Tensorflow函数解析