前一段时间一直在做海思AI芯片 HI3516DV300上SSD代码的优化工作，这里总结一下优化的一些心得体会。之所以要对海思AI芯片 HI3516DV300上SSD代码做优化，是因为SSD有一部分是运行在CPU上，而HI3516DV300上的CPU性能比较差，网络只要稍微复杂一点，CPU部分运行就会很慢。下表给出了一些模型在芯片上运行的时间，可以看到CPU部分运行的时间占据了大部分。
注：由于工作关系，有一些细节在博客中不方便太详细的阐述，希望大家理解

在这里插入图片描述
注意：
这里的Forward对应SAMPLE_SVP_NNIE_Forward()函数,这个函数基本上是运行在NNIE上的，GetResult对应SAMPLE_SVP_NNIE_Ssd_GetResult函数，这个函数是运行在CPU上的,后面直接使用GetResult表示这个函数

DetectionOutForward的优化

分析性能瓶颈

通过对GetResult函数分析发现主要耗时在两个函数中：SVP_NNIE_Ssd_SoftmaxForward和SVP_NNIE_Ssd_DetectionOutForward，后面直接使用SoftmaxForward和DetectionOutForward表示。
在这里插入图片描述

进一步对DetectionOutForward函数进行分析，其中DetectionOutForward主要包含了两个步骤,这两个部分分别对应了两个for循环：

decode box: 将网络输出的预测值转换为实际的坐标值,这一部分记为Loop1
NMS: 对每一类目标的前topk个置信度最高的bbox做NMS,这一部分记为Loop2

发现主要耗时在Loop1中
在这里插入图片描述
Loop1对应了如下代码：

分析Loop1代码，Loop1主要功能是对所有anchor的预测值进行解码转换为anchor在图像中实际的坐标值。
在这里插入图片描述
对每一个anchor都需要调用两次exp()函数(上图中红框标出的部分)，这个函数是一个非常耗时的函数，45120个anchor一共调用90240次exp()，通过测试发现90240次exp()调用需要耗时21ms，如果能够减少exp()的调用次数，将会大大减少时间。
由于实际做NMS的时候，我们只对前topk个置信度最高的bbox做NMS，也就是说只会用到前topk个bbox的真实坐标值，其他bbox的坐标值用不到，所以我们只需要计算出前topk个bbox的真实坐标值就可以了，这里topK设置为400,也就是说只需要执行800次exp操作就可以，而800次exp操作只需要0.2ms，可以大大减少时间。
但是最后做NMS的时候，使用的是图1中蓝框中的4个变量，而如果要计算出真实坐标值，就必须要知道网络输出的预测值和priorbox的坐标，也就是如果要计算出前topk个bbox的真实坐标值，就必须要知道每个bbox对应的8个变量，图1中红框和绿框中的8个值。

在这里插入图片描述图1

8个值:

ps32PriorBoxes[jSAMPLE_SVP_NNIE_COORDI_NUM]
ps32PriorBoxes[jSAMPLE_SVP_NNIE_COORDI_NUM+1]
ps32PriorBoxes[jSAMPLE_SVP_NNIE_COORDI_NUM+2]
ps32PriorBoxes[jSAMPLE_SVP_NNIE_COORDI_NUM+3]
ps32LocPreds[jSAMPLE_SVP_NNIE_COORDI_NUM]
ps32LocPreds[jSAMPLE_SVP_NNIE_COORDI_NUM+1]
ps32LocPreds[jSAMPLE_SVP_NNIE_COORDI_NUM+2]
ps32LocPreds[jSAMPLE_SVP_NNIE_COORDI_NUM+3]

下面的问题就是如何将每个bbox对应的这8个变量编码到4个变量中，通过对每个bbox对应的8个变量分析发现：

由于网络输入大小是512，也就是图像中的坐标在[0,512]之间，也就是ps32PriorBoxes的值也在[0,512]之间，也就表示ps32PriorBoxes的值可以通过3位数来表示
ps32LocPreds的值有正有负，而且值的范围可以使用5位数表示

基于上面的发现，设计了以下编码方式：

ps32LocPreds * 10000+ps32PriorBoxes * 10+flag

其中flag为标记位,当ps32LocPreds值为负数时，flag为0,当ps32LocPreds值为正数时，flag为1
而且编码之后的值全部转换为正数，便于解码。
这个编码的含义就是：最后一位是标记位，倒数第2到第4位是priorbox的值，剩下的位数是位置预测值
示例：
-3852,125→38521250
5017,96→50170961
-13590,145→135901450
在这里插入图片描述
最后，在NMS的时候，进行解码就可以计算出真实坐标值了，比如对每个bbox编码之后的4个值的第一个值进行解码：

这样就可以得到需要的8个值，最后根据这8个值就可以计算出该bbox的真实坐标值了
在这里插入图片描述

使用优化后的代码进行速度测试
在这里插入图片描述
行人检测器Loop1经过优化后从原来的34ms提高到了7ms,速度得到了明显提高,由于Loop2增加了解码的时间，所以Loop2会略微变慢，但是总体时间还是大大降低了。
优化之后对精度是完全没有影响的。

NMS的优化

AI芯片中官方给的SSD代码在对每一类做NMS的时候，实现上有点bug，官方代码中，当类别为背景的时候，也做了NMS。
当类别为背景的时候，是不需要对所有的预测框做NMS的，这样可以节省很多时间。
在这里插入图片描述

修改后的代码：
在这里插入图片描述
优化后的时间：

我们可以看到优化后Loop2的时间大大降低，在CPU上运行的时间基本上降低为原来的一半了。

Softmax的优化

上面分析了GetResult函数主要耗时在两个函数中：SoftmaxForward和DetectionOutForward。上面对DetectionOutForward进行了优化，那么SoftmaxForward是否可以优化呢？

分析了SoftmaxForward函数，发现计算所有anchor的置信度的时候，45120个anchor也需要调用90240次exp(),需要耗时21ms。

我们知道softmax概率的计算公式如下：
在这里插入图片描述
在对softmax进行优化的时候，我做了一个实验，直接使用fi表示softmax置信度,然后在多个模型中做了测试：
数据集A:

数据集B：

我发现一个很奇怪的现象：直接使用fi代替softmax概率，大部分模型精度基本上没有损失。同时也观察了一系列模型的结果，发现softmax概率大的目标往往fi值也大。 目前还不知道具体原因。有知道其中原因的朋友欢迎留言讨论。