深层聚合——DLA（解读）（原论文）

本文目的（个人理解：IDA是层间，HDA是层内）

通过更深入的聚合来扩充标准体系结构，以更好地融合各层的信息。深层聚合结构以迭代和分层方式合并特征层次结构，使网络具有更高的准确性和更少的参数。

主要研究如何聚合层以更好地融合语义和空间信息以进行识别和定位。扩展当前方法的“浅层”跳过连接，文中的聚合架构包含更多深度和共享。文中介绍了两种深层聚合（DLA）结构：迭代深度聚合（IDA）和分层深度聚合（HDA）。这些结构是通过架构框架来表达的，独立于主干的选择，以与当前和接下来的网络兼容。 IDA专注于融合分辨率和层级，而HDA则专注于合并所有模块和通道的功能。IDA 遵循基础层次结构，逐步优化分辨率和聚合规模。HDA组装自己的树结构连接层次结构，这些连接交叉并合并阶段以聚合不同级别的表示。

聚合体系结构与融合特征层次结构的领先方法密切相关。融合的关键是语义和空间。 跨语义和深度的语义融合或聚合可以改善对内容的推断。空间融合，或跨分辨率和尺度的聚合，改善了对位置的推断。 深层聚合（DLA）可以看作是两种融合形式的结合。

分层深度聚合（HDA）对短路径和重用的重要性上与DenseNet具有相同的见解，并扩展了与跨阶段和比串联更深层融合的树的跳过连接。密集连接和深度聚合的网络可实现更高的准确性以及更好的参数和内存效率。

深层聚合（DLA）

将聚合定义为整个网络中不同层的组合。由于网络可以包含许多层和连接，因此模块化设计有助于通过分组和重复来抵消复杂性。层被分组为块，然后通过其特征分辨率将其分组为多个阶段。然后将块和阶段聚合起来。

（a）组合没有聚合的块，这是分类和回归网络的默认值。（b）将网络的各部分与跳过连接组合在一起，这通常用于分段和检测等任务，但只能通过在每个步骤中合并前面的部分来实现。文中提出的两种深度聚合体系结构：（c）通过重新排序（b）的跳过连接来迭代聚合，使得最浅的部分被聚合次数最多用于进一步处理，以及（d）通过块的树结构分层聚合，以更好地跨越不同深度的网络的特征层次。（e）和（f）是（d）的改进，通过将中间聚合路由回网络来加深聚合，并通过合并相同深度的连续聚合来提高效率。我们的实验显示了（c）和（f）在识别和解决方面的优势，并加深了IDA的表示。

迭代深层聚集（IDA）

迭代深度聚合遵循主干架构的迭代堆叠。根据特征分辨率将网络的堆叠块分为多个阶段。更深的阶段更具语义，但在空间上更粗糙。跳过连接从较浅阶段到较深阶段的连接和分解。然而，现有的跳过连接，如fcn、u-net 和 fpn 是线性的，并且最浅层的延伸程度最小，如图中（b）所示。

逐步汇总和深化 IDA 的代表性。聚合从最浅、最小的规模开始，然后迭代合并更深、更大的模块。通过这种方式，浅层特征通过不同的聚合阶段传播时得到了细化。图中（c）显示了IDA的结构。

分层深度聚合（HDA）

分层深度聚合将树中的块和阶段合并，以保留和组合特征通道。通过HDA将较浅和较深的层组合在一起，以学习跨越更多特征层次结构的更丰富的组合。虽然 IDA 有效地结合了阶段，但它不足以融合网络的许多块，因为它仍然只是顺序的。分层深度聚合的分支结构如图2（d）所示。

建立了HDA的结构后，可以提高其深度和效率。而不仅仅是将中间聚合路由到树的更远位置，相反，而是将聚合节点的输出作为下一个子树的输入反馈给主干，如图2（e）所示。这会传播所有先前块的聚合而不是前一个块，以更好地保留特征。为了提高效率，文中合并了相同深度的聚合节点（组合父子节点和左子节点），如图2（f）所示。

构建元素

聚合节点

聚合节点的主要功能是组合和压缩其输入。节点学习选择和投影重要信息，以便在输出中保持相同的维度作为单个输入。在体系结构中，IDA节点始终是二进制的，而HDA节点具有可变数量的参数，具体取决于树的深度。

虽然聚合节点可以基于任何块或层，但为了简单和高效，文中选择单个卷积，然后是批量归一化和非线性激活。这避免了聚合结构的开销。在图像分类网络中，所有节点使用1×1卷积。在语义分割中，我们添加了更高级别的迭代深度聚合来插入特征，在这种情况下使用3×3卷积。

由于残差连接对于组装非常深的网络很重要，我们还可以在聚合节点中包含残差连接。但是，目前尚不清楚它们是否需要聚合。对于HDA，从任何块到根的最短路径最多是层次结构的深度，因此沿着聚合路径可能不会出现减小或爆炸的梯度。在实验中，发现节点中的残差连接可以在最深层次结构具有4级或更多级别时帮助HDA，而对于具有较小层级的网络可能会有害。