この論文は、結合重み付けの以前の慣習を破る適応ラベル割り当て方法DWを提案します。アンカーに独立した正の重みと負の重みを動的に割り当てることで、さまざまな角度からの一貫性と不一致の指標に従って、トレーニングをより包括的に監視できます。さらに、この論文では、回帰特徴マップ上の予測フレームを直接微調整する新しい予測フレーム微調整操作も提案しています。

出典：Xiaofeiのアルゴリズムエンジニアリングノートパブリックアカウント

论文：オブジェクト検出のための二重重み付けラベル割り当て方式

序章

ターゲット検出器トレーニングの基本単位として、アンカーには正しい分類ラベルと回帰ラベルを付ける必要があります。このようなラベル割り当て（LA、ラベル割り当て）プロセスは、減量割り当てプロセスと見なすこともできます。単一のアンカーのcls損失の計算では、次のように一律に表すことができます。

$w_ {pos}$ と $w_ {neg}$ トレーニングの方向を制御するために使用されるフォワードウェイトとリバースウェイトです。この設計に基づいて、LAメソッドは2つの大きなカテゴリに分類できます。

ハードLA：各アンカーはposまたはnegに分割できます。 $w_ {pos}、w_ {neg} \ in \ {0,1 \}$ および $w_ {pos} + w_ {neg} = 1$ このタイプの方法の中核は、正のアンカーと負のアンカーの間の境界を見つけることです。従来のアプローチでは、ターゲットのサイズと形状の違いを無視して、固定のIoUしきい値を直接使用して判断します。ATSSなどの最近の研究では、特定のIoU分布に従ってアンカーを分割する動的しきい値の概念が提案されています。ただし、トレーニングでは、静的または動的なHard LAメソッドであるかどうかにかかわらず、アンカー自体の重要性の違いを無視します。

ソフトLA：ハードLAの欠点を克服するために、GFLやVFLなどの研究でソフトウェイトの概念が提案されました。このタイプのメソッドは、IoUに基づいて各アンカーのソフトラベルターゲットを設定し、clsスコアとregスコアに従ってアンカーを計算します。 $w_ {pos}$ と $w_ {neg}$ 。しかし現在、これらの方法は $w_ {pos}$ のデザイン、 $w_ {neg}$ 通常は直接 $w_ {pos}$ これはから派生します。これにより、ネットワークは負の重みからの監視情報を欠きます。図1に示すように、GFLとVFLは、異なる品質のアンカーに同様の損失の重みを割り当てます。これにより、検出器のパフォーマンスが低下する可能性があります。

検出器により多くの監視情報を提供するために、この論文は、異なる角度から別々に計算される新しいLA方式DW（二重重み付け）を提案します。 $w_ {pos}$ と $w_ {neg}$ そしてそれらを互いに補完させます。さらに、重み計算機能のより正確なregスコアを提供するために、この論文では、ターゲットの境界位置を予測し、対応するものに従ってより正確な微調整情報を生成する、新しいbbox微調整操作も提案しています。特徴。

提案された方法

動機とフレームワーク

由于NMS的存在，检测器应该预测一致的bbox，既有高分类分数也有准确的位置定位。但如果在训练时平等地对待所有的训练样本，而cls分数越高的预测结果的reg位置不一定越准确，这往往会导致cls head与reg head之间就会存在不一致性。为此，Soft LA通过加权损失来更柔和地对待训练样本，加强cls head与reg head的一致性。基于Soft LA，anchor的损失可以表示为：

其中 $s$ 为预测的cls分数。为一致性更高的预测结果分配更大的 $w_{pos}$ 和 $w_{reg}$ ，能够使得网络专注于学习高质量的预测结果，减轻cls head与reg head的不一致问题。

当前的方法直接将 $w_{reg}$ 设置为 $w_{pos}$ ，主要关注如何定义一致性以及如何将其集成到损失权重中。表1总结了一些方法对 $w_{pos}$ 和 $w_{neg}$ 的计算公式，这些方法先定义用于度量一致性的指标 $t$ ，随后将 $1-t$ 作为不一致性的度量指标，最后添加缩放因子将指标集成到损失权重中。
上述方法的 $w_{pos}$ 和 $w_{neg}$ 都是高度相关的，而论文认为pos和neg权重应该以prediction-aware的方式单独设置，具体如下：

pos weighting function：以预测的cls分数和预测框的IoU作为输入，预测两者的一致性程度作为pos权重。
neg weighting function：同样以预测cls分数和预测框的IoU作为输入，但将neg权重定义为anchor为负的概率以及anchor作为负的重要程度的乘积。

通过上述定义，对于pos权重相似的这种模棱两可的anchor，就可以根据不同的neg权重得到更细粒度的监督信息。

DW方法的整体流程如图2所示，先根据中心点距离来为每个GT构造候选正样本集，其余的anchor为候选负样本。由于负样本的统计信息十分混乱，所以不参与权重函数的计算。候选正样本会被赋予三个权重 $W_{pos}$ 、 $W_{neg}$ 以及 $W_{reg}$ ，用于更有效地监督训练。

Positive Weighting Function

pos权重需要反映预测结果对检测性能的重要性，论文从目标检测的验证指标来分析影响重要性的因素。在测试时，通常会根据cls分数或cls分数与IoU的结合对单分类的预测结果进行排序，从前往后依次判断。正确的预测需满足以下两点：

a. 与所属GT的IoU大于阈值 $\theta$ 。
b. 无其他排名靠前且所属GT相同的预测结果满足条件a。

上述条件可认为是选择高ranking分数以及高IoU的预测结果，也意味着满足这两个条件的预测结果有更大概率在测试阶段被选择。从这个角度来看，pos权重 $w_{pos}$ 就应该与IoU和ranking分数正相关。首先定义一致性指标 $t$ ，用于度量两个条件的对齐程度：

为了让不同anchor的pos权重的方差更大，添加指数调节因子：

最终，各anchor的pos权重会根据对应GT的候选anchor的pos权重之和进行归一化。

Negative Weighting Function

pos权重虽然可以使得一致的anchor同时具有高cls分数和高IoU，但无法区分不一致anchor的重要程度。如前面图1所示，anchor D定位校准但分类分数较低，而anchor B恰好相反。两者的一致性程度 $t$ 一致，pos权重无法区分差异。为了给检测器提供更多的监督信息，准确地体现anchor的重要程度，论文提出为两者赋予更清晰的neg权重，具体由以下两部分构成。

Probability of being a Negative Sample

根据COCO的验证指标，IoU不满足阈值的预测结果一律归为错误的检测。所以，IoU是决定achor为负样本的概率的唯一因素，记为 $P_{neg}$ 。由于COCO使用0.5-0.95的IoU阈值来计算AO，所以 $P_{neg}$ 应该满足以下规则：

任意 $[0.5,0.95]$ 上单调递减的函数都可以作为 $P_{neg}$ 中间部分。为了简便，论文采用了以下函数：

公式6需要穿过点 $(0.5,1)$ 和 $(0.95, 0)$ ，一旦 $\gamma_1$ 确定了，参数 $k$ 和 $b$ 可通过待定系数法确定。

图3展示了不同 $\gamma_1$ 下的 $P_{neg}$ 曲线。

Importance Conditioned on being a Negative Sample

在推理时，ranking队列中靠前的neg预测结果虽然不会影响召回率，但会降低准确率。为了得到更高的性能，应该尽可能地降低neg预测结果的ranking分数。所以在训练中，ranking分数较高的neg预测结果应该比ranking分数较低的预测结果更为重要。基于此，定义neg预测结果的重要程度 $I_{neg}$ 为ranking分数的函数：

最终，整体的neg权重 $w_{neg}=P_{neg}\times I_{neg}$ 变为：

$w_{neg}$ 与 $IoU$ 负相关，与 $s$ 正相关。对于pos权重相同的anchor，IoU更小的会有更大的neg权重。在兼容验证指标的同时， $w_{neg}$ 能给予检测器更多的监督信息。

Box Refinement

pos权重和neg权重都以IoU作为输入，更准确的IoU可以保证更高质量的训练样本，有助于学习更强的特征。为此，论文提出了新的box精调操作，基于预测的四条边的偏移值 $O\in R^{H\times W\times 4}$ 进行下一步的精调。

考虑到目标边界上的点有更大的概率预测准确的位置，论文设计了可学习的预测模块，基于初步的bbox为每条边生成边界点。如图4所示，四个边界点的坐标定义为：

其中， $\{\Delta^x_l,\Delta^y_l,\Delta^x_t,\Delta^y_t,\Delta^x_r,\Delta^y_r,\Delta^x_b,\Delta^y_b\}$ 为精调模块的输出。最后，结合边界点的预测和精调模块的输出，最终精调后的anchor偏移 $O^{'}$ 为：