参考文章：基于OpenVINOTM2022.2和蝰蛇峡谷优化并部署YOLOv5模型_openvino
前篇文章：基于YOLOV5的自动瞄准（附代码）_yolov5 自瞄_RedWhiteLuo的博客
之前已经通过Pytroch 调用 NVIDIA GPU 进行推理，但是在实际使用中，独显肯定是最好空闲出来的， 因此我们可以利用闲置的硬件——核显， 我是手上的设备的配置是 12700h 3060Laptop 的笔记本。
因此，我们可以用过INTEL 推出的Openvino 工具，将推理的设备设置为核显，让独显空闲出来。
利用推理的流程在之前的帖子里已经谈及过，这里就不多赘述。这里主要记录一下遇到的问题，希望各位够帮我优化代码逻辑，相互交流
值得一提的是，通过openvino官方的benchmark中的测试数据可以得出，其异步推理速度近90fps
并且openvino 有官方的 异步推理的api（multiprocessing）
先说结论： numpy 转 Tensor 的耗时太长，导致帧率只有60fps不到，但是能够放空独显
OpenVino 环境部署：
Download Intel® Distribution of OpenVINO™ Toolkit
pip install openvino-dev==2022.3.0
YOLOV5 模型转换：
python export.py --weights yolov5s.pt --include onnx [将yolov5s.pt 转换为 onnx 格式]
mo --input_model yolov5s.onnx --data_type FP16 [将 onnx 格式文件转换为 xml 和 bin 格式]
OpenVino 性能测试：
benchmark_app -m yolov5s.xml -d AUTO:-CPU -hint cumulative_throughput
benchmark_app -m yolov5s.xml -d AUTO:-CPU -api sync
benchmark_app -m yolov5s.xml -d AUTO:-CPU -api async
运行流程（12700H）:
前处理：【win32api 获取图片 5.5ms】,【图片维度转换+ 图片缩放 = 2ms】
【numpy 2 tensor = 9.5ms】合计 17ms
推理： 将数据送进神经网络到输出大概需要 11ms
后处理： 即将神经网络输出的内容进行转换，数据标注等，大概需要4ms
因此，一个完整流程需要32ms，但是通过提供的异步推理接口能压缩到20ms左右
实际上，openvino 推理过程还可以通过pot工具进行int8量化，但是这种np2tensor的耗时太长，int8量化的对帧率提升用处不大
注：本源码没有加入自动瞄准的部分，但是已经放入了函数，有需要可以自行开启
YOLO/Auto_Aiming_OV_async.py at main · RedWhiteLuo/YOLO (github.com)