学习网站：https://www.bilibili.com/video/av20542427?p=20
传统神经网络：权值太多，计算量太大，需要大量样本进行训练。
卷神经网络CNN:通过感受野和权值共享减少了神经网络需要的训练个数。
卷积核：相当于一个滤波器，不同卷积核对物体进行不同的特征采样。
池化层：降维，缩小特征图。三种方式：1.最大 ，2.平均， 3.随机。
对卷积层的操作：same padding：给平面外部补0，卷积窗口采样后得到一个跟原来平面大小相同的平面。
valid padding ：不会超出平面外部，卷积窗口采样后得到一个比原来平面小的平面。
对池化层操作：same padding：可能给平面外部补0
alid padding ：不会超出平面外部
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets('MNIST_data', one_hot=True)
#每个批次大小
batch_size = 100
#计算一共有多少批次
n_batch = mnist.train.num_examples // batch_size
#初始化权值
def weight_variable(shape):
return tf.Variable(tf.truncated_normal(shape,stddev=0.1))
#初始化偏置值
def bias_vairable(shape):
return tf.Variable(tf.constant(0.1, shape=shape))
#卷积层
def conv2d(x,W):
return tf.nn.conv2d(x,W,strides=[1,1,1,1],padding='SAME')#用到tensorflow里面的一个库conv2d,2维卷积操作，strides是步长
#池化层
def max_pool_2x2(x):
return tf.nn.max_pool(x,ksize=[1,2,2,1],strides=[1,2,2,1],padding='SAME')#用的是最大池化，
#ksize是窗口大小第一四个必须是1中间是xy方向大小
#定义两个placeholder
x = tf.placeholder(tf.float32,[None,784])#28*28
y = tf.placeholder(tf.float32,[None,10])
#改变x的格式转化为4d向量【batch,in_hight, in_width, in_channels】
x_image = tf.reshape(x,[-1,28,28,1])#批次会自动变， ， ，灰色
#初始化第一个卷积层的权值和偏置
W_conv1 = weight_variable([5,5,1,32]) # 5*5的采样窗口，32个卷积核从1个平面抽取特征
b_conv1 = bias_vairable([32]) #每个卷积核一个偏置值
#把x_image和权值向量进行卷积，再加上偏置值，然后用relu激活函数
h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)# 28*28*1 的图片卷积之后变为28*28*32，【注】传到上面卷积层中
h_pool1 = max_pool_2x2(h_conv1)#进行max-pooling 池化之后变为 14*14*32{注}传到池化层
#初始化第二个卷积层的权值和偏置值
W_conv2 = weight_variable([5,5,32,64])# 5*5的采样窗口，32个卷积核从64个平面抽取特征
b_conv2 = bias_vairable([64])#每个卷积核一个偏置值
#把h_pool1和权值向量进行卷积，再加上偏置值，然后应用于relu激活函数
h_conv2 = tf.nn.relu(conv2d(h_pool1,W_conv2) + b_conv2)# 第二次卷积之后变为 14*14*64
h_pool2 = max_pool_2x2(h_conv2)#进行max-pooling 第二次池化之后变为 7*7*64
#28*28的如片第一次卷积后还是28*28因为用的same padding，第一次池化后变为14*14
#第二次卷积后为14*14，第二次池化后变为7*7 池化层有个作用是降维并且我们用的步长是2
#经过上面操作后得到64张7*7的平面
# 第一个全连接层
W_fc1 = weight_variable([7*7*64,1024])#上一层有7*7*64个神经元，全连接层有1024个神经元
b_fc1 = bias_vairable([1024])#有1024个节点
# 7*7*64的图像（池化层2的输出）变成1维向量
h_pool2_flat = tf.reshape(h_pool2,[-1,7*7*64])
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)#求第一个全连接层的输出
#用keep_prob来表示神经元的输出概率
keep_prob = tf.placeholder(tf.float32)
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)
# 第二个全连接层
W_fc2 = weight_variable([1024,10])
b_fc2 = bias_vairable([10])
#计算输出
logits = tf.matmul(h_fc1_drop,W_fc2) + b_fc2
prediction = tf.nn.sigmoid(logits)
#交叉熵代价函数
loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y, logits=logits))
#使用AdamOptimizer进行优化
train_step = tf.train.AdamOptimizer(0.001).minimize(loss)
#结果放在一个布尔列表中
prediction_2 = tf.nn.softmax(prediction)
correct_prediction = (tf.equal(tf.argmax(prediction_2,1), tf.argmax(y,1)))
#求准确率
accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
for epoch in range(21):
for batch in range(n_batch):
batch_xs, batch_ys = mnist.train.next_batch(batch_size)
sess.run(train_step, feed_dict={x:batch_xs,y:batch_ys,keep_prob:0.7})
acc = sess.run(accuracy, feed_dict={x:mnist.test.images, y:mnist.test.labels, keep_prob:1.0})
print("Iter: " + str(epoch) + ", acc: " + str(acc))tensorflowgpu运行
结果：
