系列文章
海思NNIE开发(一):海思Hi3559AV100/Hi3519AV100 NNIE深度学习模块开发与调试记录
海思NNIE开发(二):FasterRCNN在海思NNIE平台上的执行流程(一)
海思NNIE开发(三):FasterRCNN在海思NNIE平台上的执行流程(二)
海思NNIE开发(五):基于Hi3559AV100的FasterRCNN、RFCN、SSD、Yolov2、Yolov3性能综合测评
-----------------------------------------------------------------------------------------------------------------------------------------
基于海思的Hi3559AV100芯片在NNIE平台上FasterRCNN、RFCN、SSD、Yolov2、Yolov3 多个网络模型做推理测评,demo的处理流程为:
视频文件(1080P)———>VDEC———>VPSS———>NNIE———>VGS———>VO(HDMI)
1080P的视频文件经过VPSS模块转换为各个网络模型所需要的分辨率再进过NNIE处理。
分类 | 网络输入分辨率 | NNIE一帧处理时间(毫秒) | 全流程一帧处理时间(毫秒) |
帧率 | 检测效果 | |
---|---|---|---|---|---|---|
RFCN | VOC2007 21分类(含背景) | 352x288 | 76 | 77 | 13 | 汽车场景:检测稳定,缺点是只能检测中近处的汽车,远处汽车无法检测 |
FasterRCNN(Alexnet) | 2分类:背景与行人 |
1240x375 | 150 | 151 | 7 | 行人场景:检测稳定 缺点:速度太慢 |
FasterRCNN(DoubleRoiPooling) | 4分类: 背景,人,人群,坐着的人 |
224x224 | 170 | 171 | 6 | 行人场景:检测稳定 缺点:速度太慢 |
SSD | VOC2007 21分类(含背景) | 300x300 | 85 |
86 | 12 | 汽车场景:只能检测近景汽车,无法检测中、远处汽车,效果比RFCN差 行人场景:不够稳定,间断性丢失目标 |
Yolo v2 | 6分类 (背景,汽车,货车,卡车,行人,骑自行车的人) |
416x416 | 78 | 79 | 13 | 汽车场景:效果差,经常检测不到汽车 行人场景:效果差,基本检测不到行人 |
Yolo v3 | Coco 81分类(含背景) | 416x416 | 141 | 142 | 7 | 汽车场景:效果好,无论远处和近处都可以检测到汽车 行人场景:效果好,另外可检测到电动单车及路灯 缺点:速度慢 |
对各个网络的效果及性能排名,如下:
检测效果排名:1. Yolo v3; 2.RFCN; 3.FasterRCNN; 4. SSD; 5. Yolo v2
检测速度排名:1. RFCN; 2.Yolo v2; 3. SSD;4. Yolo v3; 4. FasterRCNN
综合排名:1. RFCN;2. Yolo v3. 3. FasterRCNN; 4. SSD; 5. Yolo v2
检测画面如下:
RFCN:
汽车场景:
FasterRCNN(Alexnet):
行人场景:
FasterRCNN(DoubleRoiPooling)
行人场景:
SSD
汽车场景:
行人场景:
Yolo v2
汽车场景:
行人场景:
Yolo v3
汽车场景:
行人场景:
另外,检测效果的各个视频文件已上传到百度网盘.。