必须明白：实际中，在计算机视觉任务上表现良好的神经网络框架，往往也适用于其他任务
！为什么层数越深，卷积核的个数越多：一个原因是随着卷积神经网络的加深，一般会用更小的卷积核，再加上经过池化减小的计算量可以
提供给增加的卷积核；二是因为越深层的网络提取的特征越抽象，所以通过增加卷积核的数量将前面层学习到的特征组合起来，从而使得各种特征的可能性覆盖得更全面。
！LeNet - 5 网络：其论文是在1998年撰写的，当时人们并不使用padding，因此每做一次卷积，图像的高度和宽度都会缩小，是针对灰度图像训练的，所以图片只有一个通道。相比现在的版本，当时的神经网络会小一些，只有大约6万个参数，而现在的神经网络参数通常在一千万到一亿之间，如图是一个LeNet - 5 网络的例子，在第一层，使用6个5×5的卷积核，步长=1，padding=0：
这个神经网络中，还有一个模式至今仍然经常用到，那就是一个或多个卷积层后面跟着一个池化层，然后又是若干个卷积层，再接一个池化层，然后是全连接层，最后是输出。
！在阅读经典的论文时，我们可以看到过去人们常常使用Sigmoid函数和Tanh函数，而不是Telu函数，现在我们说的，每个卷积核的通道数和它上一层的通道数相同，在当时由于计算机运算速度非常慢，为了减少计算量和参数，经典的LeNet - 5 使用了非常复杂的计算方式，
！AlexNet网络：包含有6000万个参数，相比于LeNet - 5，其使用了ReLu激活函数，softmax与前一层网络是全连接的，1000代表数据集为1000类
！VGG-16网络：其有点是简化了神经网络的结构，16的意思是这个网络包含16个卷积层和全连接层，缺点是需要训练的特征数量非常巨大，关于其的论文揭示了一点非常重要：随着网络的加深，图像的高度和宽度都在以一定的规律不断缩小，每次池化后刚好缩小一半，而通道数量在不断增加，刚好也是在每次卷积操作后增加一倍，也就是说，图像缩小的比例和信道增加的比例是有规律的。
