做深度学习神经网络的设计、训练与部署，往往会困扰于不同的操作系统，不同的深度学习框架，不同的部署硬件，以及不同的版本。由于相互之间的不兼容，给开发使用者造成了很大的不便。
联合使用OpenVINO和ONNX，便可以解决从不同框架模型到不同硬件之间快速部署的问题。
最近参加“英特尔®OpenVINO™领航者联盟 DFRobot行业AI开发者大赛”活动，主办方提供了拿铁熊猫LattePanda和Intel神经计算棒NCS2，本文所列数据都是在该平台上运行得到的。
硬件1：拿铁熊猫LattePanda Delta
采用了 Intel 全新 N 系列赛扬 4 核处理器，最高可达 2.40 GHz，4GB内存，内置蓝牙和 WiFi 模组，支持 USB 3.0 接口、HDMI 视频输出、3.5mm音频接口，100/1000Mbps 以太网口，以及额外的 MicroSD 扩展卡槽。集成一块 Arduino Leonardo 单片机，可以外拓各种传感器模块，支持 Windows 和 Linux 双操作系统。在功能和价格上都是完美的选择。
硬件2：Intel神经计算棒NCS2
Intel® Movidius™ Myriad™ X VPU核心，USB 3.1 Type-A接口，支持TensorFlow, Caffe, MXNet, ONNX, PyTorch/ PaddlePaddle（通过ONNX）。
软件环境：OpenVINO，Ubuntu, Windows® 10
先来一张硬件合照，确实是小巧，接上鼠标、键盘、显示器，连上USB摄像头和蓝牙音箱，我们来看看这台巴掌大的电脑性能怎么样！
为什么选择ONNX和OpenVINO?
Open Neural Network Exchange（ONNX，开放神经网络交换），是一种针对机器学习所设计的开放式的文件格式，用于存储训练好的模型。它使得不同的人工智能框架（如Pytorch, MXNet）可以采用相同格式存储模型数据并交互。
ONNX的规范及代码主要由微软，亚马逊 ，Facebook 和 IBM 等公司共同开发，以开放源代码的方式托管在Github上。目前官方支持加载ONNX模型并进行推理的深度学习框架有： Caffe2, PyTorch, MXNet，ML.NET，TensorRT 和 Microsoft CNTK，并且 TensorFlow 也非官方的支持ONNX。---维基百科
OpenVINO是英特尔推出一套基于深度学习的计算机视觉加速优化框架，支持其它机器学习平台模型的压缩优化、加速计算等功能。主要包括两个核心组件一个预训练模型库：
OpenVINO核心组件-模型优化器
模型优化器Model Optimizer，模型优化器支持的深度学习框架包括：
-ONNX -TensorFlow -Caffe -MXNet
OpenVINO核心组件-推断引擎
推断引擎(Inference Engine)支持硬件指令集层面的深度学习模型加速运行，同时对传统的OpenCV图像处理库也进行了指令集优化，有显著的性能与速度提升。支持的硬件平台包括如下：
-CPU -GPU -FPGA -MYRIAD(英特尔加速计算棒) -HDDL -GAN
ONNX便是一种通用货币，开发者可以把自己开发训练好的模型保存为ONNX文件；而部署工程师可以借助OpenVINO，把ONNX部署在不同的硬件平台上，而不必关心开发者使用的是哪一种框架。
所以，只要你的模型可以转为ONNX模型，而ONNX模型又可以通过OpenVINO高效、快速地部署在Intel的CPU、GPU、神经计算棒、甚至是FPGA上，使你的模型开发、训练与部署可以分开，又不必受到不同软硬件开发环境的困扰，大大提高部署实现的效率。
如何使用OpenVINO部署ONNX模型
首先，你需要安装OpenVINO，
我使用的是最新版的OpenVINO 2020.4，具体安装设置，请参考如下链接：https://docs.openvinotoolkit.org/2020.4/index.html
然后，你需要有一个ONNX模型。
你可以下载别人训练好的公开的ONNX文件，也可以从别的框架模型转化，当然也可以自己训练，然后保存为ONNX格式。本文选择自己训练。
我采用mnist手写数据集与印刷体混合的数据集，构建卷积神经网络，进行训练，达到精度96.4%，将训练结果保存为ONNX模型：
使用mo.py对ONNX模型进行优化：
命令如下：
python "C:\Program Files (x86)\IntelSWTools\openvino\deployment_tools\model_optimizer\mo.py" --input_model=Xubett964.onnx --output_dir=. --model_name=Xubett964.fp16 --data_type=FP16
Model Optimizer arguments:
Common parameters:
- Path to the Input Model: C:\openVINOdemo\shuatiP\Xubett964.onnx
- Path for generated IR: C:\openVINOdemo\shuatiP\.
- IR output name: Xubett964.fp16
- Log level: ERROR
- Batch: Not specified, inherited from the model
- Input layers: Not specified, inherited from the model
- Output layers: Not specified, inherited from the model
- Input shapes: Not specified, inherited from the model
- Mean values: Not specified
- Scale values: Not specified
- Scale factor: Not specified
- Precision of IR: FP16
- Enable fusing: True
- Enable grouped convolutions fusing: True
- Move mean values to preprocess section: False
- Reverse input channels: False
ONNX specific parameters:
Model Optimizer version:
[ SUCCESS ] Generated IR version 10 model.
[ SUCCESS ] XML file: C:\openVINOdemo\shuatiP\.\Xubett964.fp16.xml
[ SUCCESS ] BIN file: C:\openVINOdemo\shuatiP\.\Xubett964.fp16.bin
[ SUCCESS ] Total execution time: 11.34 seconds.
使用benchmark_app.py对上述模型进行评估：
可以更换参数，-d GPU, -d MYRIAD，对GPU和神经计算棒运行情况进行评估。命令如下：
python "C:\Program Files (x86)\IntelSWTools\openvino\deployment_tools\tools\benchmark_tool\benchmark_app.py" -m Xubett964.fp16.xml -i images\image1.png -d CPU
[Step 1/11] Parsing and validating input arguments
C:\Program Files (x86)\IntelSWTools\openvino\python\python3.6\openvino\tools\benchmark\main.py:29: DeprecationWarning: The 'warn' method is deprecated, use 'warning' instead
logger.warn(" -nstreams default value is determined automatically for a device. "
[ WARNING ] -nstreams default value is determined automatically for a device. Although the automatic selection usually provides a reasonable performance, but it still may be non-optimal for some cases, for more information look at README.
[Step 2/11] Loading Inference Engine
[ INFO ] InferenceEngine:
API version............. 2.1.2020.4.0-359-21e092122f4-releases/2020/4
[ INFO ] Device info
CPU
MKLDNNPlugin............ version 2.1
Build................... 2020.4.0-359-21e092122f4-releases/2020/4
[Step 3/11] Setting device configuration
[ WARNING ] -nstreams default value is determined automatically for CPU device. Although the automatic selection usually provides a reasonable performance,but it still may be non-optimal for some cases, for more information look at README.
[Step 4/11] Reading the Intermediate Representation network
[ INFO ] Read network took 31.25 ms
[Step 5/11] Resizing network to match image sizes and given batch
[ INFO ] Network batch size: 1
[Step 6/11] Configuring input of the model
[Step 7/11] Loading the model to the device
[ INFO ] Load network took 147.20 ms
[Step 8/11] Setting optimal runtime parameters
[Step 9/11] Creating infer requests and filling input blobs with images
[ INFO ] Network input 'imageinput' precision FP32, dimensions (NCHW): 1 1 28 28
C:\Program Files (x86)\IntelSWTools\openvino\python\python3.6\openvino\tools\benchmark\utils\inputs_filling.py:76: DeprecationWarning: The 'warn' method is deprecated, use 'warning' instead
",".join(BINARY_EXTENSIONS)))
[ WARNING ] No supported binary inputs found! Please check your file extensions: BIN
[ WARNING ] Some image input files will be ignored: only 0 files are required from 1
[ INFO ] Infer Request 0 filling
[ INFO ] Fill input 'imageinput' with random values (some binary data is expected)
[ INFO ] Infer Request 1 filling
[ INFO ] Fill input 'imageinput' with random values (some binary data is expected)
[ INFO ] Infer Request 2 filling
[ INFO ] Fill input 'imageinput' with random values (some binary data is expected)
[ INFO ] Infer Request 3 filling
[ INFO ] Fill input 'imageinput' with random values (some binary data is expected)
[Step 10/11] Measuring performance (Start inference asyncronously, 4 inference requests using 4 streams for CPU, limits: 60000 ms duration)
[Step 11/11] Dumping statistics report
Count: 768280 iterations
Duration: 60002.68 ms
Latency: 0.28 ms
Throughput: 12804.09 FPS
编写程序做推理验证
可以参考OpenVINO自带例子，Python的例子在下面的路径：
C:\Program Files (x86)\IntelSWTools\openvino\inference_engine\samples\python
也可以参考我的代码。
#导入IE/OpenCV/numpy/time模块
from openvino.inference_engine import IECore, IENetwork
import cv2
import numpy as np
from time import time
#配置推断计算设备，IR文件路径，图片路径
DEVICE = 'MYRIAD'
#DEVICE = 'CPU'
model_xml = 'C:/openVINOdemo/shuatiP/Xubett964.fp16.xml'
model_bin = 'C:/openVINOdemo/shuatiP/Xubett964.fp16.bin'
image_file = 'C:/openVINOdemo/shuatiP/images/image5.png'
labels_map = ["+", "-", "0", "1", "2", "3", "4", "5", "6", "7", "8", "9", "=", "×", "÷"]
#初始化插件，输出插件版本号
ie = IECore()
ver = ie.get_versions(DEVICE)[DEVICE]
print("{descr}: {maj}.{min}.{num}".format(descr=ver.description, maj=ver.major, min=ver.minor, num=ver.build_number))
#读取IR模型文件
net = ie.read_network(model=model_xml, weights=model_bin)
#准备输入输出张量
print("Preparing input blobs")
input_blob = next(iter(net.inputs))
out_blob = next(iter(net.outputs))
net.batch_size = 1
#载入模型到AI推断计算设备
print("Loading IR to the plugin...")
exec_net = ie.load_network(network=net, num_requests=1, device_name=DEVICE)
#读入图片
n, c, h, w = net.inputs[input_blob].shape
image = cv2.imread(image_file,0)
#执行推断计算
print("Starting inference in synchronous mode")
start = time()
res = exec_net.infer(inputs={input_blob: image})
end = time()
print("Infer Time:{}ms".format((end-start)*1000))
# 处理输出
print("Processing output blob")
res = res[out_blob]
indx=np.argmax(res)
label=labels_map[indx]
print("Label: ",label)
print("Inference is completed")
#显示处理结果
cv2.imshow("Detection results",image)
cv2.waitKey(0)
cv2.destroyAllWindows()运行digit_detector.py：
python digit_detector.py
myriadPlugin: 2.1.2020.4.0-359-21e092122f4-releases/2020/4
Preparing input blobs
digit_detector.py:27: DeprecationWarning: 'inputs' property of IENetwork class is deprecated. To access DataPtrs user need to use 'input_data' property of InputInfoPtr objects which can be accessed by 'input_info' property.
input_blob = next(iter(net.inputs))
Loading IR to the plugin...
Starting inference in synchronous mode
Infer Time:8.739948272705078ms
Processing output blob
Label: 7
Inference is completed
如上图所示，image5.png是7的图片，推理结果显示是7，说明推理是正确的。
总结
ONNX格式的模型文件，可以作为不同深度学习框架之间的桥梁，OpenVINO提供了对ONNX模型的优化部署方案，使其可以快速部署到拿铁熊猫LattePanda和Intel神经计算棒NCS2等Intel相关的硬件，加速从深度学习模型到实际应用推理部署的过程。
老徐 2020.7