C++ で pytorch モデルをデプロイする方法は 2 つあります。1 つは、pytorch モデルを onnx に変換し、opencv DNN モジュールを使用してデプロイする方法です。1 つは、対応するバージョンの pytorch の Libtorch デプロイメントを使用することです。onnx テストでは、変換モデルプロセス後のセマンティックセグメンテーションの精度が大きく異なることが判明したため、最終的に Libtorch が導入対象として選択されました。

2、Libtorch構成

注: 1. Libtorch のバージョンは pytorch のバージョンに対応している必要があります。

2、LibtorchとpytorchのCPU/GPUが対応している必要があります

1.Libtorchをダウンロードする

Pytorch 公式サイトからダウンロード、リリース版とデバッグ版があります

2. VS2019はLibtorchを構成します

2.1 VC++ ディレクトリの構成

まず、opencv と同じ方法で、インクルードディレクトリとライブラリディレクトリを設定します。

2.2 リンカの設定

すべてのライブラリを依存関係として追加し、cmd で lib ディレクトリを入力し、dir /b *.lib>1.txtコマンドを使用してディレクトリを生成し、それをコピーして使用します。

2.3 Libtorch環境変数の設定

これをシステム環境変数に追加することも、環境を構成せずにすべての DLL をリリースディレクトリまたはデバッグディレクトリに直接コピーすることもできます。

3. pytorch モデルを Libtorch で使用される pt に変換します。

# -*- coding:utf-8 -*-
import torch

model = torch.load("red_model.pth", map_location='cpu')
model.eval()

# 向模型中输入数据以得到模型参数
example = torch.rand(1, 3, 512, 512)  # N*C*H*W
traced_script_module = torch.jit.trace(model, example)

# 保存模型
traced_script_module.save("red_models_trace.pt")

4. C++ での Libtorch の使用

/****************************************
@brief     :  分割
@input	   :  图像
@output    :  掩膜
*****************************************/
void SegmentAI(Mat& imgSrc, int width, int height)
{
	cv::Mat transImg;
	cv::resize(imgSrc, transImg, cv::Size(512, 512));
	//Deserialize the ScriptModule
	torch::jit::script::Module Module = torch::jit::load("models_trace.pt");
	//Module.to(at::kCUDA);//XXX-GPU版本添加
	//processing

	//cv::cvtColor(image_transfomed, image_transfomed, cv::COLOR_BGR2RGB); //转RGB
	//Mat to tensor
	torch::Tensor tensorImg = torch::from_blob(transImg.data, { transImg.rows, transImg.cols,3 }, torch::kByte);
	tensorImg = tensorImg.permute({ 2,0,1 });
	tensorImg = tensorImg.toType(torch::kFloat);
	tensorImg = tensorImg.div(255);
	tensorImg = tensorImg.unsqueeze(0);
	//excute the model
	torch::Tensor output = Module.forward({ tensorImg }).toTensor();
	//tensor to Mat 
	torch::Tensor output_max = output.argmax(1);
	output_max = output_max.squeeze();
	output_max = output_max == 1;
	output_max = output_max.mul(255).to(torch::kU8);
	output_max = output_max.to(torch::kCPU);
	Mat conjMask(Size(512, 512), CV_8UC1);
	memcpy((void*)conjMask.data, output_max.data_ptr(), sizeof(torch::kU8) * output_max.numel());
	//最大连通域
	vector<vector<Point>> contours;
	vector<Vec4i> hierarchy;
	double largest_area = 0;
	int largest_contour_index = 0;
	findContours(conjMask, contours, hierarchy, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE);
	for (size_t i = 0; i < contours.size(); i++) // iterate through each contour.
	{
		double area = contourArea(contours[i]);  //  Find the area of contour        
		if (area > largest_area)
		{
			largest_area = area;
			largest_contour_index = i;
		}
	}
	Mat conjMaskMax = Mat(512, 512, CV_8UC1, cv::Scalar::all(0));
	if (contours.size() != 0)
	{
		fillPoly(conjMaskMax, contours[largest_contour_index], Scalar(255, 255, 255), 8, 0);
	}
	resize(conjMaskMax, conjMaskMax, cv::Size(width, height));
	conjMaskMax.convertTo(imgSrc, CV_8UC1, 255, 0);
}

参考文献

PyTorch https://pytorch.org/

Windows+VS2019+PyTorchLib の構成と使用 Raiders-Jianshu (jianshu.com) https://www.jianshu.com/p/2371ee8b45f0

Machine Vision シリーズ 4: C++ が pytorch モデルをデプロイする Libtorch

シリーズ記事ディレクトリ

序文

1. C++ で pytorch をデプロイするにはどうすればよいですか?