关于全连接层的理解：
全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的。
首先看经典网络VGG16：
从左至右，一张彩色图片输入到网络，白色框是卷积层，红色是池化，蓝色是全连接层，棕色框是预测层。预测层的作用是将全连接层输出的信息转化为相应的类别概率，而起到分类作用。
在学习VGG过程中一直有一个疑问，为什么在AlexNet网络中最后卷积层输出的feature map大小是6*6*256，得到一个一维6*6*256=9216，但到VGG网络中，卷积层输出的feature为7*7*512，输出到卷积层为4096，一直疑问4096是怎么来的问题？
两种解释：
一：
- 13层卷积和池化之后，数据变成了 512*7*7
- 然后Flatten()，将数据拉平成向量，变成一维512*7*7=25088
- 接着是3个全连接层
其中4096只是个经验值，其他数当然可以，试试效果，只要不要小于要预测的类别数，这里要预测的类别有1000种，所以最后预测的全连接有1000个神经元。如果你想用VGG16 给自己的数据作分类任务，这里就需要改成你预测的类别数。
二：
- 使用4096个7*7*512的卷积核得到的，4096经验值的设定也是根据分类数目的大小进行设计。
- 通过卷积拉伸为向量，这样会好控制一些，只需要调整卷积核的个数
也就是说使用卷积操作将feature map拉伸为向量是一种方法，直接把feature map拉伸为一个一维向量也是一种方法