继续抄书... .. .
关键词:一层隐含层,dropout ,ReLu 激活函数,自适应学习速率Adagrad,Sofmax 函数
附代码:
# 载入MNIST数据集 from tensorflow.examples.tutorials.mnist import input_data import tensorflow as tf mnist = input_data.read_data_sets("MNIST_data/",one_hot=True) # 创建tensorflow默认的Interactive Session,这样后面执行各项操作就无需指定session了 sess = tf.InteractiveSession() # 输入节点28*28 int_units = 784 # 隐藏层节点数 h1_units = 300 # 偏置全部初始化为0,并将权重初始化为截断的正态分布,标准差为0.1 w1 = tf.Variable(tf.truncated_normal([int_units,h1_units],stddev = 0.1)) b1 = tf.Variable(tf.zeros([h1_units])) w2 = tf.Variable(tf.truncated_normal([h1_units,10])) b2 = tf.Variable(tf.zeros([10])) # 定义x的placeholder x = tf.placeholder(tf.float32,[None,int_units]) # dropout的比率即保留节点的概率 <1 keep_prob = tf.placeholder(tf.float32) # 定义模型结构 # 隐藏层输出,使用relu作为激活函数 hidden1 = tf.nn.relu(tf.matmul(x,w1)+b1) # 隐藏层的dropout,keep_prob表示比率 <1 hidden1_drop = tf.nn.dropout(hidden1,keep_prob) # softmax函数取概率大的作为输出 y = tf.nn.softmax(tf.matmul(hidden1_drop,w2)+b2) # 真是值(标签)的输入占位符 y_ = tf.placeholder(tf.float32,[None,10]) # 损失函数使用交叉信息熵 cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_*tf.log(y),reduction_indices=[1])) # 使用Adagrad优化器,学习率设置为0.3(还有Adam,Adadelta等优化器) train_step = tf.train.AdagradOptimizer(0.3).minimize(cross_entropy) # 训练步骤 # 初始化计算图变量 tf.global_variables_initializer().run() # 迭代3000次,一个batch大小为100,一共30万个样本 # 30万个样本,每次epoch一次数据有5500,相当于5次(30万/5500)多epoch for i in range(3000): batch_xs,batch_ys = mnist.train.next_batch(100) # keep_prob = 0.75 表示保留75%节点 train_step.run({x:batch_xs,y_:batch_ys,keep_prob:0.75}) # 对模型进行准确率评测 # tf.argmax(input,dims),返回最大数值的下标,通常和tf.equal用于计算模型精度 # dims = 1 按行操作,dims=0 按列操作 # tf.equal correct_prediction = tf.equal(tf.argmax(y,1),tf.argmax(y_,1)) # tf.cast()进行格式转换,将correct_prediction的bool型转换成float32然后求平均 accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32)) # 因为是预测部分,我们可以直接把keep_prob设置为1 print(accuracy.eval({x:mnist.test.images,y_:mnist.test.labels,keep_prob:1.0})) 未完...