Python深度学习库Keras学习之mnist手写体识别

    本文为学习过程总结，此文参考了很多博客的精华，参考地址已贴出；

目标：

1，学习使用Keras库的函数

2，完成mnist识别

背景介绍：

（1）Keras介绍

    Keras是一个高层神经网络API，Keras由纯Python编写而成并基Tensorflow、Theano以及CNTK后端。Keras 为支持快速实验而生，能够把你的idea迅速转换为结果，如果你有如下需求，请选择Keras：

• 简易和快速的原型设计（keras具有高度模块化，极简，和可扩充特性）
• 支持CNN和RNN，或二者的结合
• 无缝CPU和GPU切换

转自--《Keras中文文档》。地址：http://keras-cn.readthedocs.io/en/latest/

（2）mnist

MNIST是一个简单的视觉计算数据集，它是像下面这样手写的数字图片：

    。。。。。

======

OK，背景知识介绍完毕。

直接从Keras的GitHub下载mnist源码，或者手敲一遍，地址为：

https://github.com/keras-team/keras/blob/master/examples/mnist_cnn.py

代码直接在上面网站上下载即可，此处不再帖代码。

=============

学习过程记录：

本实例分为以下几步：

1， 下载或者得到数据集

2， 转换数据集为需要的格式

3，构建卷积神经网络

4，开始训练网络

5，预测

========

数据下载读取

（1）对于数据下载，有几种方法：

第一，采用mnist.load()函数下载数据；

第二，自己下载npz格式或者gz格式的mnist数据；

npz格式数据地址为：https://s3.amazonaws.com/img-datasets/mnist.npz

gz格式数据的地址为http://deeplearning.net/data/mnist/mnist.pkl.gz

采用第一种方式没有什么可说的；

第二种获取数据之后的处理方式值得记载：

npz：

=====

f = np.load("./mnist.npz")
x_train, y_train = f['x_train'], f['y_train']
x_test, y_test = f['x_test'], f['y_test']

f.close()

======以上为npz格式处理代码

gz格式参考博主@研究所小爬虫的博客，地址为：

https://blog.csdn.net/u010874976/article/details/78571788

函数解读

构建神经网络的主要函数如下：

Sequential()

Conv2D()

MaxPooling2D()

compile()

fit()

evaluate()

==========分别介绍如下:

来源为Keras中文文档，地址在上文中已给出；

快速开始序贯（Sequential）模型

序贯模型是多个网络层的线性堆叠，也就是“一条路走到黑”。

可以通过向Sequential模型传递一个layer的list来构造该模型：

from keras.models import Sequential

from keras.layers import Dense, Activation

model = Sequential([Dense(32, units=784),Activation('relu'),Dense(10),Activation('softmax'),])

也可以通过.add()方法一个个的将layer加入模型中：

model = Sequential()

model.add(Dense(32, input_shape=(784,)))

model.add(Activation('relu'))

===============

卷积层

Conv2D层

keras.layers.convolutional.Conv2D(filters, kernel_size, strides=(1, 1), padding='valid',

data_format=None, dilation_rate=(1, 1), activation=None, use_bias=True, kernel_initializer='glorot_uniform',

bias_initializer='zeros', kernel_regularizer=None, bias_regularizer=None, activity_regularizer=None,

kernel_constraint=None, bias_constraint=None)

二维卷积层，即对图像的空域卷积。该层对二维输入进行滑动窗卷积，当使用该层作为第一层时，应提供input_shape参数。

例如input_shape = (128,128,3)代表128*128的彩色RGB图像（data_format='channels_last'）

参数

• filters：卷积核的数目（即输出的维度）

• kernel_size：单个整数或由两个整数构成的list/tuple，卷积核的宽度和长度。如为单个整数，则表示在各个空间维度的相同长度。

• strides：单个整数或由两个整数构成的list/tuple，为卷积的步长。如为单个整数，则表示在各个空间维度的相同步长。任何不为1的strides均与任何不为1的dilation_rate均不兼容

• padding：补0策略，为“valid”, “same” 。“valid”代表只进行有效的卷积，即对边界数据不处理。“same”代表保留边界处的卷积结果，通常会导致输出shape与输入shape相同。

• activation：激活函数，为预定义的激活函数名（参考激活函数），或逐元素（element-wise）的Theano函数。如果不指定该参数，将不会使用任何激活函数（即使用线性激活函数：a(x)=x）

• dilation_rate：单个整数或由两个个整数构成的list/tuple，指定dilated convolution中的膨胀比例。任何不为1的dilation_rate均与任何不为1的strides均不兼容。

• data_format：字符串，“channels_first”或“channels_last”之一，代表图像的通道维的位置。该参数是Keras 1.x中的image_dim_ordering，“channels_last”对应原本的“tf”，“channels_first”对应原本的“th”。以128x128的RGB图像为例，“channels_first”应将数据组织为（3,128,128），而“channels_last”应将数据组织为（128,128,3）。该参数的默认值是~/.keras/keras.json中设置的值，若从未设置过，则为“channels_last”。

• use_bias:布尔值，是否使用偏置项

• kernel_initializer：权值初始化方法，为预定义初始化方法名的字符串，或用于初始化权重的初始化器。参考initializers

• bias_initializer：权值初始化方法，为预定义初始化方法名的字符串，或用于初始化权重的初始化器。参考initializers

• kernel_regularizer：施加在权重上的正则项，为Regularizer对象

• bias_regularizer：施加在偏置向量上的正则项，为Regularizer对象

• activity_regularizer：施加在输出上的正则项，为Regularizer对象

• kernel_constraints：施加在权重上的约束项，为Constraints对象

• bias_constraints：施加在偏置上的约束项，为Constraints对象

输入shape

‘channels_first’模式下，输入形如（samples,channels，rows，cols）的4D张量

‘channels_last’模式下，输入形如（samples，rows，cols，channels）的4D张量

注意这里的输入shape指的是函数内部实现的输入shape，而非函数接口应指定的input_shape，请参考下面提供的例子。

输出shape

‘channels_first’模式下，为形如（samples，nb_filter, new_rows, new_cols）的4D张量

‘channels_last’模式下，为形如（samples，new_rows, new_cols，nb_filter）的4D张量

输出的行列数可能会因为填充方法而改变

池化层

MaxPooling2D层

keras.layers.pooling.MaxPooling2D(pool_size=(2, 2), strides=None, padding='valid', data_format=None)

为空域信号施加最大值池化

参数

• pool_size：整数或长为2的整数tuple，代表在两个方向（竖直，水平）上的下采样因子，如取（2，2）将使图片在两个维度上均变为原长的一半。为整数意为各个维度值相同且为该数字。

• strides：整数或长为2的整数tuple，或者None，步长值。

• border_mode：‘valid’或者‘same’

• data_format：字符串，“channels_first”或“channels_last”之一，代表图像的通道维的位置。该参数是Keras 1.x中的image_dim_ordering，“channels_last”对应原本的“tf”，“channels_first”对应原本的“th”。以128x128的RGB图像为例，“channels_first”应将数据组织为（3,128,128），而“channels_last”应将数据组织为（128,128,3）。该参数的默认值是~/.keras/keras.json中设置的值，若从未设置过，则为“channels_last”。

输入shape

‘channels_first’模式下，为形如（samples，channels, rows，cols）的4D张量

‘channels_last’模式下，为形如（samples，rows, cols，channels）的4D张量

输出shape

‘channels_first’模式下，为形如（samples，channels, pooled_rows, pooled_cols）的4D张量

‘channels_last’模式下，为形如（samples，pooled_rows, pooled_cols，channels）的4D张量

编译

在训练模型之前，我们需要通过compile来对学习过程进行配置。compile接收三个参数：

• 优化器optimizer：该参数可指定为已预定义的优化器名，如rmsprop、adagrad，或一个Optimizer类的对象，详情见optimizers

• 损失函数loss：该参数为模型试图最小化的目标函数，它可为预定义的损失函数名，如categorical_crossentropy、mse，也可以为一个损失函数。详情见losses

• 指标列表metrics：对分类问题，我们一般将该列表设置为metrics=['accuracy']。指标可以是一个预定义指标的名字,也可以是一个用户定制的函数.指标函数应该返回单个张量,或一个完成metric_name - > metric_value映射的字典.请参考性能评估

# For a multi-class classification problem

model.compile(optimizer='rmsprop', loss='categorical_crossentropy',metrics=['accuracy'])

# For a binary classification problem

model.compile(optimizer='rmsprop',loss='binary_crossentropy',metrics=['accuracy'])

# For a mean squared error regression problem

model.compile(optimizer='rmsprop',loss='mse')

# For custom metrics

import keras.backend as K

def mean_pred(y_true, y_pred):

    return K.mean(y_pred)

model.compile(optimizer='rmsprop',loss='binary_crossentropy',metrics=['accuracy', mean_pred])

fit函数

fit(self, x, y, batch_size=32, epochs=10, verbose=1, callbacks=None,

    validation_split=0.0, validation_data=None, shuffle=True, class_weight=None, sample_weight=None, initial_epoch=0)

本函数将模型训练nb_epoch轮，其参数有：

• x：输入数据。如果模型只有一个输入，那么x的类型是numpy array，如果模型有多个输入，那么x的类型应当为list，list的元素是对应于各个输入的numpy array

• y：标签，numpy array

• batch_size：整数，指定进行梯度下降时每个batch包含的样本数。训练时一个batch的样本会被计算一次梯度下降，使目标函数优化一步。

• epochs：整数，训练终止时的epoch值，训练将在达到该epoch值时停止，当没有设置initial_epoch时，它就是训练的总轮数，否则训练的总轮数为epochs - inital_epoch

• verbose：日志显示，0为不在标准输出流输出日志信息，1为输出进度条记录，2为每个epoch输出一行记录

• callbacks：list，其中的元素是keras.callbacks.Callback的对象。这个list中的回调函数将会在训练过程中的适当时机被调用，参考回调函数

• validation_split：0~1之间的浮点数，用来指定训练集的一定比例数据作为验证集。验证集将不参与训练，并在每个epoch结束后测试的模型的指标，如损失函数、精确度等。注意，validation_split的划分在shuffle之前，因此如果你的数据本身是有序的，需要先手工打乱再指定validation_split，否则可能会出现验证集样本不均匀。

• validation_data：形式为（X，y）的tuple，是指定的验证集。此参数将覆盖validation_spilt。

• shuffle：布尔值或字符串，一般为布尔值，表示是否在训练过程中随机打乱输入样本的顺序。若为字符串“batch”，则是用来处理HDF5数据的特殊情况，它将在batch内部将数据打乱。

• class_weight：字典，将不同的类别映射为不同的权值，该参数用来在训练过程中调整损失函数（只能用于训练）

• sample_weight：权值的numpy array，用于在训练时调整损失函数（仅用于训练）。可以传递一个1D的与样本等长的向量用于对样本进行1对1的加权，或者在面对时序数据时，传递一个的形式为（samples，sequence_length）的矩阵来为每个时间步上的样本赋不同的权。这种情况下请确定在编译模型时添加了sample_weight_mode='temporal'。

• initial_epoch: 从该参数指定的epoch开始训练，在继续之前的训练时有用。

fit函数返回一个History的对象，其History.history属性记录了损失函数和其他指标的数值随epoch变化的情况，如果有验证集的话，也包含了验证集的这些指标变化情况

evaluate

evaluate(self, x, y, batch_size=32, verbose=1, sample_weight=None)

本函数按batch计算在某些输入数据上模型的误差，其参数有：

• x：输入数据，与fit一样，是numpy array或numpy array的list

• y：标签，numpy array

• batch_size：整数，含义同fit的同名参数

• verbose：含义同fit的同名参数，但只能取0或1

• sample_weight：numpy array，含义同fit的同名参数

本函数返回一个测试误差的标量值（如果模型没有其他评价指标），或一个标量的list（如果模型还有其他的评价指标）。model.metrics_names将给出list中各个值的含义。

如果没有特殊说明，以下函数的参数均保持与fit的同名参数相同的含义

如果没有特殊说明，以下函数的verbose参数（如果有）均只能取0或1