四、卷积神经网络(Convolution Neural Networks)

一、CNN(Convolution Neural Networks)

卷积神经网络基本思想：识别物体的特征，来进行判断物体
卷积Convolution：过滤器filter中的数值与图片像素值对应相乘再相加，6 * 6卷积一次(步数为1)变成4 * 4
Max Pooling：对卷积之后的4 * 4图像，分区选取最大值(2*2选取)，变成 2 * 2；
Max Pooling作用是增强特征，减少数据

Ⅰ卷积

原图
竖直过滤器最终效果

垂直过滤器最终效果

ⅡMax Pooling

Max Pooling之后尺寸减小为原来的一半

ⅢCNN卷积神经网络就是卷积+Max Pooling

二、全连接和卷积网络比较

传统的全连接网络

全连接网络 loss: 0.2400 - acc: 0.9113

from tensorflow import keras
import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np

fashion_mnist = keras.datasets.fashion_mnist
(train_images,train_labels),(test_images,test_labels) = fashion_mnist.load_data()
model = keras.Sequential()
model.add(keras.layers.Flatten(input_shape=(28,28)))
model.add(keras.layers.Dense(128,activation=tf.nn.relu))
model.add(keras.layers.Dense(10,activation=tf.nn.softmax))


train_images_y = train_images/255
#model.compile(optimizer=tf.optimizers.Adam(),loss=tf.losses.sparse_categorical_crossentropy,metrics=['accuracy'])
#optimizer="adam",loss="sparse_categorical_crossentropy",metrics=[`'accuracy']
model.compile(optimizer="adam",loss="sparse_categorical_crossentropy",metrics=['accuracy'])


model.fit(train_images_y,train_labels,epochs=10)
"""
Epoch 1/10
60000/60000 [==============================] - 2s 38us/sample - loss: 0.4977 - acc: 0.8257
Epoch 2/10
60000/60000 [==============================] - 2s 41us/sample - loss: 0.3779 - acc: 0.8637
Epoch 3/10
60000/60000 [==============================] - 2s 39us/sample - loss: 0.3390 - acc: 0.8762
Epoch 4/10
60000/60000 [==============================] - 2s 39us/sample - loss: 0.3158 - acc: 0.8847
Epoch 5/10
60000/60000 [==============================] - 2s 39us/sample - loss: 0.2971 - acc: 0.8899
Epoch 6/10
60000/60000 [==============================] - 2s 39us/sample - loss: 0.2829 - acc: 0.8963
Epoch 7/10
60000/60000 [==============================] - 2s 39us/sample - loss: 0.2702 - acc: 0.8999
Epoch 8/10
60000/60000 [==============================] - 2s 38us/sample - loss: 0.2584 - acc: 0.9035
Epoch 9/10
60000/60000 [==============================] - 2s 39us/sample - loss: 0.2507 - acc: 0.9059
Epoch 10/10
60000/60000 [==============================] - 2s 39us/sample - loss: 0.2400 - acc: 0.9113
"""

卷积神经网络

卷积神经网络 loss: 0.0964 - acc: 0.9640

from tensorflow import keras
import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np

fashion_mnist = keras.datasets.fashion_mnist
(train_images,train_labels),(test_images,test_labels) = fashion_mnist.load_data()
model = keras.Sequential()

model.add(keras.layers.Conv2D(64,(3,3),activation='relu',input_shape=(28,28,1)))
model.add(keras.layers.MaxPooling2D(2,2))
model.add(keras.layers.Conv2D(64,(3,3),activation='relu',input_shape=(28,28,1)))
model.add(keras.layers.MaxPooling2D(2,2))

model.add(keras.layers.Flatten(input_shape=(28,28)))
model.add(keras.layers.Dense(128,activation=tf.nn.relu))
model.add(keras.layers.Dense(10,activation=tf.nn.softmax))


train_images_y = train_images/255
#model.compile(optimizer=tf.optimizers.Adam(),loss=tf.losses.sparse_categorical_crossentropy,metrics=['accuracy'])
#optimizer="adam",loss="sparse_categorical_crossentropy",metrics=[`'accuracy']
model.compile(optimizer="adam",loss="sparse_categorical_crossentropy",metrics=['accuracy'])


model.fit(train_images_y.reshape(-1,28,28,1),train_labels,epochs=10)
"""
Epoch 1/10
60000/60000 [==============================] - 43s 710us/sample - loss: 0.4380 - acc: 0.8408
Epoch 2/10
60000/60000 [==============================] - 41s 682us/sample - loss: 0.2923 - acc: 0.8920
Epoch 3/10
60000/60000 [==============================] - 41s 680us/sample - loss: 0.2485 - acc: 0.9082
Epoch 4/10
60000/60000 [==============================] - 41s 681us/sample - loss: 0.2164 - acc: 0.9190
Epoch 5/10
60000/60000 [==============================] - 41s 681us/sample - loss: 0.1886 - acc: 0.9297
Epoch 6/10
60000/60000 [==============================] - 41s 680us/sample - loss: 0.1654 - acc: 0.9376
Epoch 7/10
60000/60000 [==============================] - 41s 686us/sample - loss: 0.1462 - acc: 0.9446
Epoch 8/10
60000/60000 [==============================] - 41s 681us/sample - loss: 0.1254 - acc: 0.9525
Epoch 9/10
60000/60000 [==============================] - 42s 706us/sample - loss: 0.1115 - acc: 0.9579
Epoch 10/10
60000/60000 [==============================] - 47s 780us/sample - loss: 0.0964 - acc: 0.9640
"""

很明显，CNN要比传统的全连接网络正确率高，损失函数值小，但训练时间长

三、分析卷积神经网络

在卷积神经网络训练的基础上，看下网络结构
七层！！！

Output Shape

原始图像像素为2828，这里的过滤器为33的卷积核，故
第一层图像变成了26*26，64为64个卷积核(过滤器)，经过一次卷积之后，一张图像就变成了64张图像了
第二层，将图像变为原来的四分之一，长宽各减半，变成了13 * 13
第三层，卷积层，卷积核3 * 3，去掉2个像素点，变成11 * 11的图像
第四层，将图像变为原来的四分之一，长宽各减半，变成了5 * 5
第五层，flatten将所有像素进行展平，5 * 5 * 64=1600

Param参数

第一层，33的卷积核(过滤器)有64个，33*64=576，每一个都还有一个bias，故576+64=640个参数
第二层没有调整参数，只是变化了尺寸，故参数为0
第三层，接第一层的576个参数，与本身的64个卷积核连接，576 * 64=36864，再加上每一个的bias，36864 + 64=36928
第四层没有调整参数，只是变化了尺寸，故参数为0
第五层，展平操作，就是把所有的像素点值都展成一行，没有调整参数，只是尺寸变化了而已，故参数为0
第六层，代码设置的就是128个神经元，故与上一层进行全连接操作，1600 * 128=204800，再加上每一个都有一个bias，故204800 + 128 = 204928
第七层，就是10分类而已，上一层128个神经元与这10个神经元全排列，128 * 10 =1280，在加上每个的bias，1280+10=1290

model.summary()
"""
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
conv2d_2 (Conv2D)            (None, 26, 26, 64)        640       
_________________________________________________________________
max_pooling2d_2 (MaxPooling2 (None, 13, 13, 64)        0         
_________________________________________________________________
conv2d_3 (Conv2D)            (None, 11, 11, 64)        36928     
_________________________________________________________________
max_pooling2d_3 (MaxPooling2 (None, 5, 5, 64)          0         
_________________________________________________________________
flatten_2 (Flatten)          (None, 1600)              0         
_________________________________________________________________
dense_4 (Dense)              (None, 128)               204928    
_________________________________________________________________
dense_5 (Dense)              (None, 10)                1290      
=================================================================
Total params: 243,786
Trainable params: 243,786
Non-trainable params: 0
_________________________________________________________________
"""

四、详细查看各层网络

对测试集中第一张图像进行七层网络分析

test_images_y = test_images/255#因为前面训练的时候对训练图像进行了归一化操作，故测试的时候也需要对测试图像进行归一化操作
layer_outputs = [layer.output for layer in model.layers]
activation_model = tf.keras.models.Model(inputs=model.input,outputs=layer_outputs)
pred = activation_model.predict(test_images_y[0].reshape(1,28,28,1))#这里对第一张图像进行测试
pred

预测的结果包括七层网络的结果

len(pred)
"""
7
"""

pred[第几层网络0-6一共七层][0,:,:,第几个卷积核1-64一共64个卷积核]

第一层网络，卷积层的shape

pred[0].shape
"""
(1, 26, 26, 64)
"""

第一个0表示第一层，卷积层
第二个0是画图用的，必须为0
:,:表示展示图片的所有信息
第一个1表示第一个卷积核(过滤器)

pred[0][0,:,:,1]

第一层—卷积层

看下第一层的使用第一个卷积核(共64个卷积核)，生成的图像

plt.imshow(pred[0][0,:,:,1])

看下第一层的使用第二个卷积核(共64个卷积核)，生成的图像

plt.imshow(pred[0][0,:,:,2])

第二层—Max Polling层

看下第二层的使用第一个卷积核(共64个卷积核)，生成的图像

plt.imshow(pred[1][0,:,:,1])

看下第二层的使用第二个卷积核(共64个卷积核)，生成的图像

plt.imshow(pred[1][0,:,:,2])

总结

卷积层26*26，到Max Polling层变成了13 * 13
且Max Polling层物体的特征更加明显了