这个问题也困扰了我很久，下面是个人理解：
首先引一个例子：
假设最后一个卷积层的输出为7×7×512，连接此卷积层的全连接层为1×1×4096。
连接层实际就是卷积核大小为上层特征大小的卷积运算，卷积后的结果为一个节点，就对应全连接层的一个点。如果将这个全连接层转化为卷积层：
1.共有4096组滤波器
2.每组滤波器含有512个卷积核
3.每个卷积核的大小为7×7
4.则输出为1×1×4096
（重要）实际上，对于多通道输入和多通道输出的情况，当卷积核大小为7*7时，最后的输出取决于卷积核的组数，例如输入为7×7×512，卷积核的尺寸为a×7×7×512（a为输出通道数），输出为a×1×1，而卷积核大小为1×1时，与之类似，最后输出的通道数取决于a（即上文的滤波器组数）。
至此，可以看出，1*1的卷积核可以进行降维和升维，并实现跨通道的信息交互（通道数变换）。
（结论）
卷积是将一个区域单独对待，可以提取局部特征，从而不会破坏空间结构，而对于全连接层，将其当作每个像素点一样对待（最后输出是一个一个值），会破坏空间结构。