Visualizing and Understanding Convolutional Networks（ZFNet）
论文简述
本文主要通过反卷积（DeConvNet）实现对卷积网络的可视化，理解网络中特征层的函数以及分类器操作，从而实现对网络的优化；本文实现了对AlexNet网络的可视化，并对其进行优化，使分类结果提升。此外，还通过遮挡部分输入图像，进行分类器的敏感性测试，指出对分类产生重要影响的图像部分。
参考文献
- Zeiler, M., Taylor, G., and Fergus, R. Adaptive deconvolutional networks for mid and high level feature learning. In ICCV, 2011 —deconvnet网络
- Krizhevsky, A., Sutskever, I., and Hinton, G.E. Imagenet classification with deep convolutional neural networks. In NIPS, 2012 —AlexNet网络
论文要点
反卷积可视化
反卷积网络仍可理解为一种卷积网络模型，因为其使用同样的操作（如过滤，池化等），但与 常见的网络将图像像素映射为特征 相反，其将特征映射至输入像素。
图中，左侧为deconvnet层，右侧为convnet层，两者相关联，通过deconvnet将近似重构convnet的低层特征。下侧为反池化操作。
如上图所示，待检测卷积网络的每层均与反卷积网络相关联，使得反卷积最终能映射至图像像素层。过程：将特征图做为相关联的deconvnet的输入，然后经过(i)反池化(ii)校正(iii)过滤，从而重构低层特征。
反池化
卷积网络中的最大池化是不可逆的操作，但我们可以通过记录每个池化区域中最大值的位置，构成switch变量。再在反卷积网络中利用swicth变量，将最大池化值放置到原位置，其余位置填0。
校正
通过校正，确保每层重构的特征图均为正值，与卷积网络中的作用一致。
过滤
反卷积过程中的过滤器是卷积过程中过滤器的转置，相当于将该过滤器进行了水平和垂直上的翻转。
可视化结果
可视化结果包含两部分：左侧为重构后可视化结果，只关注每块图像中的判别结构，右侧为相应的图片块， 图像间具有更多的变化。（如第五层，一行，二列，图像块看起来很杂乱，但从可视化结果可以看出特征图的关注点在背景的草坪）。此外，每个特征图都选取了最优的9个激活。
- 给定特征图可映射至多个像素空间，显示其对输入变形的不变形。
- 各层的映射显示了网络中特征的层次性。
- 训练时的特征演变：低层特征在数次迭代后趋于收敛，而高层特征则需一定数量级的迭代才能有所提升。（逐层优化）
- 特征不变形：对于平移和缩放，较小的变形会对第一层特征产生显著的影响，但对高层特征，呈现出拟线性特征，具有较好的鲁棒性。但网络对旋转特征不具有不变性。
结构选择
AlexNet网络中
- 第一层滤波器是极高频和低频信息的混合，中频覆盖率低。（要么就是灰色，要么就是波纹，较少中频信息，对比结构选择前后的图像，效果比较明显）
- 第二层产生混叠伪影（沿图像中心向外呈辐射状，并具有锯齿特点的伪影，源于采样不合理导致的频谱混叠。）
遮挡实验
- 网络模型会定位场景中的物体，且可视化结果反应了激活特征图的图像结构。
- 遮挡实验的思路很好，类似于控制变量，可以更加清楚的看清问题
对应关系分析
- 计算遮罩操作所带来的不同图像的变化的汉明距离之和，较低的值表示遮罩操作导致的变化更为一致，因此不同图像中相同对象部分之间的对应关系更紧密。
- 实验表明网络隐含的学习了不同图像的特定物体间的对应关系（如脸上应该有眼睛和鼻子等）
泛化能力
- 只重新训练最顶端的分类器层（模型迁移）
- 改变模型参数，实现多模型融合
思考
本文提供了实用的实验测试方法，如遮挡实验。还全面的讲述了由反卷积带来的可视化效果，并验证可视化的可行性，以及可视化能够实现的验证和优化。很值得深思的一篇论文。