未经本人同意，禁止任何形式的转载！
前言
《Densely Connected Convolutional Networks》
论文地址：https://arxiv.org/abs/1608.06993.
DenseNet当选了CVPR 2017年的Best Paper，受到ResNet和随机深度网络Deep networks with stochastic depth(随机地drop一些层，可以提高 ResNet 的泛化性能)的启发。
1）神经网络其实并不一定要是一个递进层级结构，网络中的某一层可以不仅仅依赖于紧邻的上一层的特征，还可以依赖于更前面层学习的特征。随机深度网络中间有一层被扔掉之后，后面的层可以利用前面的特征。因此，随机深度网络其实可以看成一个具有随机密集连接的DenseNet。
2）在训练的过程中随机扔掉很多层也不会破坏算法的收敛，说明 ResNet 具有冗余性，网络中的每一层都只提取了很少的特征（即所谓的残差）。实际上，作者将训练好的 ResNet 随机的去掉几层，对网络的预测结果也不会产生太大的影响。既然每一层学习的特征这么少，就可以想办法降低它的计算量来减小冗余。
网络结构
下图是DenseNet连接情况的形象表示方式：包含dense blocks以及过渡层transition layers。
同一个dense blocks中要求feature size保持相同大小，在不同dense blocks之间设置transition layers（卷积和池化来改变特征地图的大小）实现降维。
dense block可见下面的示意图：简单讲，就是每一层的输入来自前面所有层的输出。把前面的特征直接拿来进行复用，就可以把网络的每一层设计得特别“窄”，即每层只学习非常少的特征图，达到降低冗余性的目的。每个dense block网络层输出的特征图数量K称为Growth rate，在作者的实验中只需要较小的K(k=32)便实现很好的性能。
可见在连接之后，会统一经过BN-ReLu-Conv。
实际网络的具体构造参数：
注意：表格中显示的每个“conv”层对应着BN-ReLU-Conv序列。
DenseNet模块中用1X1卷积降维，来减少计算量，称为bottleneck layer。
为了进一步增加模型的紧致性，作者在transition layer进行了缩减特征图的操作，也是通过1 × 1 卷积实现，如果一个block输出了m个特征图，那么在接下来的transition layer中就缩减为θm个特征图，其中θ ∈ [ 0 , 1 ] 。
结果
实验结果证明了DenseNet的有效性，并且在同样参数数量和运算量的程度下，DenseNet可以表现得比同类型的ResNet更好，并且作者在实验部分强调了他的DenseNet在ImageNet上的结果是没有经过调优的，因此还可以继续提高结果。
总结分析
1）DenseNet模型更加简洁，节约参数和计算量。
2）DenseNet 具有非常好的抗过拟合性能，尤其适合于训练数据相对匮乏的应用（或者不需要预训练的方法，医学图像，卫星图像），类似于 DenseNet 的网络结构具有更小的泛化误差。神经网络每一层提取的特征都相当于对输入数据的一个非线性变换，而随着深度的增加，变换的复杂度也逐渐增加。相比于一般神经网络的分类器直接依赖于网络最后一层的特征，DenseNet 可以综合利用浅层复杂度低的特征。
3）隐式深度监督implict Deep supervision，因为有shortcut的存在，各层从损失函数获得额外的监督。我们可以将DenseNets理解为一种“深度监督”，它将分类器附加到每个隐藏层，强制中间层学习区分特征。
4）密集连接还具有冗余性吗？实际上 DenseNet 比其他网络效率更高，其关键就在于网络每层计算量的减少以及特征的重复利用。DenseNet 的每一层只需学习很少的特征，使得参数量和计算量显著减少。
针对“如此多的密集连接，是不是全部都是必要的”疑问，作者给出了实验：
可见，一些较早层提取出的特征仍可能被较深层直接使用，即使是Transition layer也会使用到之前Denseblock中所有层的特征。最后的分类层虽然使用了之前Denseblock中的多层信息,但更偏向于使用最后几个feature map的特征,说明在网络的最后几层是有助于分类的更高层特征。
如有谬误，请联系指正。