class3--tensorflow:反向传播

反向传播--->训练模型参数，在所有参数上用梯度下降，使NN模型再训练数据上的损失函数最小。

损失函数（loss）：预测值（y）与已知答案（y_）的差距

均方误差MSE：

loss=tf.reduce_mean(tf.square(y,y_))

反向传播训练方法：以减小loss值为优化目标

train_step=tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)  梯度下降

train_step=tf.train.MomentumOptimizer(learning_rate,momentum).minimize(loss)momentum优化器

train_step=tf.train.AdamOptimizer(learning_rate).minimize(loss)  adam优化

learining_rate 学习率：决定参数每次更新的幅度

参考代码：

#tf_3_3.py
#建立一个两层网络，输入层2，中间层3，输出层1

import tensorflow as tf
import numpy as np
BATCH_SIZE=10
seed=23455

#虚拟样本，基于seed生成随机数
rng=np.random.RandomState(seed)
#随机生成
X=rng.rand(80,2)
#生成标签 0、1
Y=[[int(x0+x1<1)] for (x0,x1) in X]
print("X:",X)
print("Y:",Y)

x=tf.placeholder(tf.float32)
y_=tf.placeholder(tf.float32)

w1=tf.Variable(tf.random_normal([2,3],stddev=1,seed=1))
w2=tf.Variable(tf.random_normal([3,3],stddev=1,seed=1))
w3=tf.Variable(tf.random_normal([3,1],stddev=1,seed=1))

a=tf.matmul(x,w1)
b=tf.matmul(a,w2)
y=tf.matmul(b,w3)

#定义loss和反向传播方法
learning_rate=0.001
loss=tf.reduce_mean(tf.square(y-y_))
train_step=tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)
#train_step=tf.train.MomentumOptimizer(learning_rate,momentum=0.1).minimize(loss)
#train_step=tf.train.AdamOptimizer(learning_rate,beta1=0.9,beta2=0.999).minimize(loss)
with tf.Session() as sess:
    init_op=tf.global_variables_initializer()
    sess.run(init_op)
    STEPS=3000
    for i in range(STEPS):
        start=(i*BATCH_SIZE)%80
        end=start+BATCH_SIZE
        sess.run(train_step,feed_dict={x:X[start:end],y_:Y[start:end]})
        if i%300 == 0:
            total_loss=sess.run(loss,feed_dict={x:X,y_:Y})
            print("%d:loss:%g",i,total_loss)

总结：

搭建神经网络的八股：准备，前传，反传，迭代

1.准备：  import

                 常量定义

                生成数据集

2.前传：定义输入、参数、和输出

 x=

y_=

w1=

w2=

w3

a

b

y

3.反向传播：定义损失函数、反向传播方法

loss=

train_step=

4.生成会话、训练steps轮

with tf.Session() as sess:

     ........