The Loss of Bounding Box Regression

输入输出

Bounding Box Regressor 训练过程的输入由两部分组成:

• data:原图或其feature
• label: ground truth bounding box.

regression输出为一组可以确定 n $n$个bounding box的数值. 数值涵义由label决定.
本文讨论 n=1 $n=1$的情况, 即Single box regression: 一张图片回归一个bounding box.

典型的应用出现在RCNN: Proposal太大时, 需要缩小范围以更精确的框出目标物体. 它的regressor的输入为一个proposal region, 输出为一个bounding box.

一个region由一个四维向量表示: P=(Px,Py,W,H) $P=(P_x,P_y,W,H)$, 其中, (Px,Py) $(P_x,P_y)$为中心点的位置(RCNN)或左上角的位置(Fast RCNN), (W,H) $(W,H)$为它的宽和高. 它对应的bbox ground truth由 G=(Gx,Gy,Gw,Gh) $G=(G_x,G_y,G_w,G_h)$表示, 各参数的涵义与 P $P$类似.

L2 Loss

用 f(P) $f(P)$表示regressor的输出, 最简单粗暴的loss可以表示为:

L∗=(f∗(P)−G∗)2 $$L_{\ast }=(f_{\ast }(P)-G_{\ast }{)}^2$$

其中, ∗ $\ast$代表 x,y,w,h $x,y,w,h$, 整个loss : L=Lx+Ly+Lw+Lh $L=L_x+L_y+L_w+L_h$ .
也就是说直接预测bbox的绝对坐标与绝对长度. 但是这样会出现一个问题: loss的大小会受到图片大小的影响, 不大合理. 例如, 当ground truth 分别为 (100,100,200,200) $(100,100,200,200)$, (10,10,20,20) $(10,10,20,20)$时, 假如分别得到 (90,90,200,200) $(90,90,200,200)$, (8,8,20,20) $(8,8,20,20)$的bbox预测值. 那么前者对应的loss会远大于后者, 但是从实际情况上来看, 100−90100=0.1,10−810=0.2 $\frac{100-90}{100}=0.1,\frac{10-8}{10}=0.2$, 前者的相对误差要小于后者. 所以需要一个规范化(normalization)处理. 若在loss上规范化:

Lx=(fx(P)−Gx)W)2 $$L_x=(\frac{f_x(P)-G_x)}{W}{)}^2$$

Ly=(fy(P)−Gy)H)2 $$L_y=(\frac{f_y(P)-G_y)}{H}{)}^2$$

Lw=(fw(P)−Gw)W)2 $$L_w=(\frac{f_w(P)-G_w)}{W}{)}^2$$

Lh=(fh(P)−Gh)H)2 $$L_h=(\frac{f_h(P)-G_h)}{H}{)}^2$$

其中, W,H $W,H$分别为输入图片的宽与高.
这样loss是不受绝对大小的影响了, 但是还有一个问题: f(P) $f(P)$直接输出了绝对距离, 这种输出值是没有上下限的. 目测会让训练过程的收敛变得困难甚至不可能.(个人推测, 未验证/考证.). 另外, 学习速率的选择也会变得困难. 所以, 规范化操作要在label上进行. 即, 将回归目标规范化, 例如RCNN中使用的target为:

这样回归出来的就是bbox在图片上的相对位置, 各个位置参数的值都是在0到1之间. 比较特殊的是 w,h $w,h$的regression targets使用了log space. 师兄指点说这是为了降低 w,h $w,h$产生的loss的数量级, 让它在loss里占的比重小些, 不至于因为 w,h $w,h$的loss太大而让 x,y $x,y$产生的loss无用. 因为若是 x,y $x,y$没预测准确, w,h $w,h$再准确也没有用.
若使用MLP进行回归, 那输出层的激活函数是identity, 即 f(P)=WTΦ(P) $f(P)=W^T\mathrm{\Phi }(P)$, 其中, W $W$为权重矩阵, Φ(P) $\mathrm{\Phi }(P)$为proposal P的特征向量.

Smooth L1 Loss

当预测值与目标值相差很大时, 梯度容易爆炸, 因为梯度里包含了 x−t $x-t$. 所以rgb在Fast RCNN里提出了SmoothL1Loss.

当差值太大时, 原先L2梯度里的 x−t $x-t$被替换成了 ±1 $\pm 1$, 这样就避免了梯度爆炸, 也就是它更加健壮.

Fast-RCNN为了使用SmoothL1Loss定义了一个新的layer, 它的实现更general:

xi=win(ti−vi),i∈{x,y,w,h} $$x_i=w_{in}(t_i-v_i),i\in \{x,y,w,h\}$$

smoothL1={0.5x2σ2,|x|−0.5σ2,|xσ|<1otherwise $$smoot{h}_{L_1}=\{\begin{array}{ll}0.5x^2{\sigma }^2,& |x\sigma |<1\\ |x|-\frac{0.5}{{\sigma }^2},& otherwise\end{array}$$

SmoothL1Loss=wout∑i∈{x,y,w,h}smoothL1(xi) $$SmoothL1Loss=w_{out}\underset{i\in \{x,y,w,h\}}{\sum }smoot{h}_{L_1}(x_i)$$

• win $w_{in}$可用于指定哪些regression结果参与loss的计算(Fast RCNN里的λ[u ≥ 1], Faster RCNN里的 P∗ $P_{\ast }$).
• wout $w_{out}$可用于normalization.