大模型——MobileSAM的Onnxruntime cpp部署

介绍

该项目旨在为Segment Anything和MobileSAM创建一个纯 C++ 推理 api ,在运行时不依赖于 Python。代码存储库包含一个带有测试程序的 C++ 库,以便于将接口轻松集成到其他项目中。

模型加载大约需要 10 或 1 秒,单次推理大约需要 20 毫秒,使用 Intel Xeon W-2145 CPU(16 线程)获得。在运行时,如果在 CPU 上运行,该接口可能消耗大约 6GB 或 1GB 内存,如果在 CUDA 上运行,则可能消耗 16GB 或 1GB 内存。这里的“或”表示“Segment Anything”或“MobileSAM”的值。

环境

  • Ubuntu 18.04
  • Opencv4.6
  • Onnxruntime-gpu 1.12.1

ONNX模型准备

mobile_sam.onnx参考

猜你喜欢

转载自blog.csdn.net/weixin_42990464/article/details/132806620
cpp
今日推荐