卷积网络模型设计方向
-
代季峰《卷积神经网络中的几何形变建模》
-
由于构造卷积神经网络 (CNN) 所用的模块中几何结构是固定的，其几何变换建模的能力本质上是有限的。之前的网络保持空间不变性都是通过仿射变换等形式，但仿射变换仍然具有局限性和固定性，不能很好的泛化到各种形变中
-
Spatial Transformaer Network(STN)网络通过引入localisation net网络来学习相应的仿射变换参数，然后通过Grid generator找到V对应的U的坐标，然后再通过坐标和参数对V进行填充，这样就可以有效的适应到各种形变。
-
但STN的缺点在于仍然局限在仿射变换中，因此提出了Deformable Convolution Network(DCN)对CNN的常规卷积模块进行二位偏移，从网络结构入手，不需要额外的监督信号，且能很容易进行标准反向传播端到端的训练，从而增加网络的几何变换建模能力。[可变形卷积 (deformable convolution) 和可变形兴趣区域池化 (deformable ROI pooling)]
-
DCNv2用了更好的visualization来更深入的理解DCNv1为什么work以及还存在什么缺陷
得出的结论是：- 传统的Conv还是能一定程度上建模几何变换的
- 加入DCN后对几何变换的建模能力得到了提升，前景对应的特征点能更多的覆盖整个物体，背景对应的特征点能更多的包含context。
- 但是spatial support是不精确的，前景的effective receptive field和error-bounded saliency region还是会有一些无关的背景混入
解决方法：
- 增加更多的Deformable Convolution
- 让Deformable Conv不仅能学习offset，还能学习每个采样点的权重（modulation）
- R-CNN Feature Mimicking（knowledge distillation）
因为R-CNN学到的focus在物体上的feature可以解决redundant context的问题。
-
-
张祥雨《高效轻量级深度模型的研究与实践》
高效轻量级模型部分主要讲了三部分：轻量级架构、模型搜索和模型裁剪，主要听了轻量级架构部分。- shuffleNet
但分组后Group之间相互无交流，影响了网络的准确率，因此，提出了channel shuffle来加强group之间的联系
- 针对shuffleNet的问题，提出了shuffleNet v2.
依据指导准则去修改网络架构，达到轻量级高性能。
- shuffleNet
-
黄高《面向快速推理的卷积神经网络结构设计》
参考博客：https://blog.csdn.net/qq_31049727/article/details/89343418-
DenseNet：优点 Dense and Slim
ResNet的优点在于使不同尺度的感受野混合，从而构建多尺度的感受野。DenseNet则更加充分的混合了不同尺度的感受野，使网络结构的含义更加丰富和多元化。
-
组卷积
-
Dilated Convolution
-
Multi-Scale features
- 样本分析时，发现样本具有差异性，无论对人眼还是网络，都可分为easy和hard识别。
- 那既然样本具有差异性，我们就可以用不同的网络结构去适应这种差异性，减少网络的运算量。
- 训练时，会把所有图像放入所有网络中进行训练。测试时，如果浅层网络分类就具有较高的置信度，则不再放入深层网络进行分类，减少简单图片的计算量。
-
问题总结：
Design：怎样去设计一个高效且合适的网络结构？
Training：怎样去高效的去训练一个动态网络？
Evaluation：怎样去高效地进行动态评估？
For other task：怎样将这个应用于其他的任务上？
Spatial or Temporal：到底是时域还是空域自适应？
-