C++项目笔记--基于TensorRT搭建一个YoloV5服务器

目录

1--项目描述

2--项目地址

3--编译运行

4--测试结果

5--补充说明

---

1--项目描述

① 基于 C/S 模型来构建 TCP 服务器和 TCP 客户端。

② 使用 Epoll 来监控服务器和客户端之间的连接。

③ 服务器和客户端约定使用相同的数据传输协议，头部分别使用 4 个字节来表示图片的宽，高和大小。

扫描二维码关注公众号，回复： 16840419 查看本文章

④ 创建两个读线程来接收客户端的数据，并采用 least connections 算法来实现两个读线程的负载均衡。

⑤ 创建一个可变参数的线程池，读线程接收数据后将图片传入工作线程中，工作线程对图片进行模型推理。

⑥ 工作线程基于 TensorRT 推理框架来加载 YoloV5 推理引擎进行模型推理，并将推理结果发送回客户端。

2--项目地址

基于TensorRT搭建一个YoloV5服务器

3--编译运行

mkdir build && cd build
cmake ..
make
./server 9190
./client 127.0.0.1 9190

4--测试结果

5--补充说明

后续将补充数据库的功能，以及支持更多的模型推理；