1. 使用Smoooh L1 Loss的原因
对于边框的预测是一个回归问题。通常可以选择平方损失函数（L2损失）f(x)=x^2。但这个损失对于比较大的误差的惩罚很高。
我们可以采用稍微缓和一点绝对损失函数（L1损失）f(x)=|x|，它是随着误差线性增长，而不是平方增长。但这个函数在0点处导数不存在，因此可能会影响收敛。
一个通常的解决办法是，分段函数，在0点附近使用平方函数使得它更加平滑。它被称之为平滑L1损失函数。它通过一个参数σ 来控制平滑的区域。一般情况下σ = 1，在faster rcnn函数中σ = 3
2. faster rcnn的损失函数
上述公式分为两个部分，第一部分为分类损失，第二部分为bbox regression损失。其中：
2.1 分类损失
其中：
可以看到这是一个这经典的二分类交叉熵损失，对于每一个anchor计算对数损失，然后求和除以总的anchor数量Ncls。在训练RPN的阶段，Ncls = 256，在训练fast rcnn的阶段，Ncls = 128。
2.2 bbox regression损失
其中：
-
是一个向量，表示该anchor预测的偏移量。 
是与ti维度相同的向量，表示anchor相对于gt实际的偏移量
R是smoothL1 函数，就是我们上面说的，不同之处是这里σ = 3，
对于每一个anchor 计算完
部分后还要乘以P*，如前所述，P*有物体时（positive）为1，没有物体（negative）时为0，意味着只有前景才计算损失，背景不计算损失。inside_weights就是这个作用。
对于
和Nreg的解释在RPN训练过程中如下（之所以以RPN训练为前提因为此时batch size = 256，如果是fast rcnn，batchsize = 128）：
所以
就是outside_weights，没有前景（fg）也没有后景（bg）的为0，其他为1/（bg+fg）=Ncls。
2.3 tensorflow实现
def _smooth_l1_loss(self, bbox_pred, bbox_targets, bbox_inside_weights, bbox_outside_weights, sigma=1.0, dim=[1]):
sigma_2 = sigma ** 2
box_diff = bbox_pred - bbox_targets #ti-ti*
in_box_diff = bbox_inside_weights * box_diff #前景才有计算损失的资格
abs_in_box_diff = tf.abs(in_box_diff) #x = |ti-ti*|
smoothL1_sign = tf.stop_gradient(tf.to_float(tf.less(abs_in_box_diff, 1. / sigma_2))) #判断smoothL1输入的大小，如果x = |ti-ti*|小于就返回1，否则返回0
#计算smoothL1损失
in_loss_box = tf.pow(in_box_diff, 2) * (sigma_2 / 2.) * smoothL1_sign + (abs_in_box_diff - (0.5 / sigma_2)) * (1. - smoothL1_sign)
out_loss_box = bbox_outside_weights * in_loss_box
loss_box = tf.reduce_mean(tf.reduce_sum(
out_loss_box,
axis=dim
))
return loss_box一些感悟
论文中把Ncls，Nreg和都看做是平衡分类损失和回归损失的归一化权重，但是我在看tensorflow代码实现faster rcnn的损失时发现（这里以fast rcnn部分的分类损失和box回归损失为例，如下），可以看到在计算分类损失时，并没有输入Ncls这个参数，只是在计算box回归损失的时候输入了outside_weights这个参数。这时候我才意识到分类损失是交叉熵函数，求和后会除以总数量，除以Ncls已经包含到交叉熵函数本身。
为了平衡两种损失的权重，outside_weights的取值取决于Ncls，而Ncls的取值取决于batch_size。因此才会有
# RCNN, class loss
cls_score = self._predictions["cls_score"]
label = tf.reshape(self._proposal_targets["labels"], [-1])
cross_entropy = tf.reduce_mean(
tf.nn.sparse_softmax_cross_entropy_with_logits(
logits=tf.reshape(cls_score, [-1, self._num_classes]), labels=label))
# RCNN, bbox loss
bbox_pred = self._predictions['bbox_pred'] #(128,12)
bbox_targets = self._proposal_targets['bbox_targets'] #(128,12)
bbox_inside_weights = self._proposal_targets['bbox_inside_weights']#(128,12)
bbox_outside_weights = self._proposal_targets['bbox_outside_weights']#(128,12)
loss_box = self._smooth_l1_loss(bbox_pred, bbox_targets, bbox_inside_weights, bbox_outside_weights)