NNIE
是 Neural Network Inference Engine 的简称,是海思媒体 SoC
中专门针对神经网络特别是深度学习卷积神经网络进行加速处理的硬件单元,可以理解为 CNN
加速器,即 NPU
模块,支持现有大部分的公开网络。
海思提供的软件资源包主要包括 PC
端模型量化编译及仿真工具 + 板端模型推理 SDK
(NNIE 和 runtime
)。注意:NNIE
配套软件及工具链仅支持以 Caffe
框架,使用其他框架的网络模型需要转化为 Caffe
框架下的模型。
一,PC端工具链
PC
端工具链资源主要包括以下部分:
nnie_mapper(tool/nnie/linux/mapper
)目录:简称mapper
,实现caffe
模型优化及编译的功能,将训练好的caffe
模型编译成能在Hi35xx
芯片或者在仿真库中可以运行的数据指令文件。- 仿真库(software\x64目录):
PC
端仿真结果与芯片上运行结果完全一致,包括时间、带宽等。 - 仿真
sample
工程:包含仿真sample
源代码供开发者学习参考。 - 模型包(software\data): 包含若干
sample