【PaddlePaddle onnx】PaddlePaddle导出ONNX及模型可视化教程

原文来自于地平线开发者社区，未来会持续发布深度学习、板端部署的相关优质文章与视频，如果文章对您有帮助，麻烦给点个赞，如果您有兴趣一起学习，欢迎点个关注：寻找永不遗憾(CSDN用户名)

1 背景介绍

使用深度学习开源框架Pytorch训练完网络模型后，在部署之前通常需要进行格式转换，地平线工具链模型转换目前支持Caffe1.0和ONNX(opset_version=10/11 且 ir_version≤7)两种。ONNX(Open Neural Network Exchange)格式是一种常用的开源神经网络格式，被较多推理引擎支持，例如Pytorch、PaddlePaddle、TensorFlow等。本文将详细介绍如何将PaddlePaddle格式的模型导出到ONNX格式。

2 实验环境

本教程的实验环境如下：

Python库	Version
paddlepaddle	2.4.1
paddle2onnx	1.0.5
onnx	1.13.0
onnxruntime	1.14.0

3 paddle.onnx.export函数简介

paddle.onnx.export函数可以将PaddlePaddle模型导出为ONNX模型，函数介绍如下，其中x_spec用于配置paddle.onnx.export的input_spec参数。

x_spec = paddle.static.InputSpec(shape=None, dtype='float32', name=None)
#shape:   声明维度信息，默认为 None
#dtype:   数据类型，默认为 float32
#name:    网络输入节点名称

paddle.onnx.export(layer, path, input_spec=[x_spec], opset_version=11, **configs)
#layer:          导出的Layer对象，即需要转换的网络模型
#path:           存储模型的路径前缀，导出后会自动添加后缀“.onnx”
#input_spec:     用于配置模型输入属性
#opset_version:  默认为9，请手动配置10或11

关于paddle.onnx.export的更多详细介绍，可以查阅PaddlePaddle的API文档：
https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/onnx/export_cn.html

4 代码实操

4.1 PaddlePaddle与ONNX模型导出

以下代码展示了搭建一个简单分类模型并以PaddlePaddle和ONNX格式保存的过程。

import paddle
import paddle.nn as nn

class MyNet(nn.Layer):
    def __init__(self, num_classes=10):
        super(MyNet, self).__init__()
        self.num_classes = num_classes
        self.features = nn.Sequential(
            nn.Conv2D(in_channels=1, out_channels=2,
                      kernel_size=3, stride=1, padding=1),
            nn.ReLU())
        self.linear = nn.Sequential(nn.Linear(98, num_classes))
    def forward(self, inputs):
        x = self.features(inputs)
        x = paddle.flatten(x, 1)
        x = self.linear(x)
        return x

model = MyNet()

#准备输入数据
x_spec = paddle.static.InputSpec([1, 1, 7, 7], 'float32', 'input1')
#将模型以PaddlePaddle的格式保存，以验证和ONNX模型推理的一致性
paddle.jit.save(layer=model, path='./pd_model/pdmodel',
                input_spec=[x_spec])
#将模型导出为ONNX格式保存
paddle.onnx.export(layer=model, path='./model',
                   input_spec=[x_spec], opset_version=11)

4.2 ONNX正确性验证

可以用以下代码验证ONNX模型的正确性，会检查模型的版本，图的结构，节点及输入输出。若输出为 Check: None 则表示无报错信息，模型导出正确。

import onnx

onnx_model = onnx.load("./model.onnx")
check = onnx.checker.check_model(onnx_model)
print('Check: ', check)

4.3 PaddlePaddle与ONNX的一致性检查

可以使用以下代码检查导出的ONNX模型和原始的PaddlePaddle模型是否有相同的计算结果。

import numpy as np
import onnxruntime
import paddle

input1 = np.random.random((1, 1, 7, 7)).astype('float32')

ort_sess = onnxruntime.InferenceSession("./model.onnx")
ort_inputs = {ort_sess.get_inputs()[0].name: input1}
ort_outs = ort_sess.run(None, ort_inputs)

model = paddle.jit.load("./pd_model/pdmodel")
model.eval()
paddle_input = paddle.to_tensor(input1)
paddle_outs = model(paddle_input)

print(ort_outs[0])
print(paddle_outs.numpy())
np.testing.assert_allclose(tf_outs.numpy(), ort_outs[0], rtol=1e-03, atol=1e-05)
print("onnx model check finsh.")

4.4 多输入的情况

若您的模型存在多输入，则可参考下方代码保存成PaddlePaddle和ONNX格式。ONNX的正确性验证和PaddlePaddle与ONNX的一致性检查不再赘述，仿照上述代码编写即可。

import paddle
import paddle.nn as nn

class MyNet(nn.Layer):
    def __init__(self, num_classes=10):
        super(MyNet, self).__init__()
        self.num_classes = num_classes
        self.features_1 = nn.Sequential(
            nn.Conv2D(in_channels=1, out_channels=2,
                      kernel_size=3, stride=1, padding=1),
            nn.ReLU())
        self.features_2 = nn.Sequential(
        nn.Conv2D(in_channels=1, out_channels=2,
                  kernel_size=3, stride=1, padding=1),
        nn.ReLU())
        self.linear = nn.Sequential(nn.Linear(98, num_classes))
    def forward(self, inputs1, inputs2):
        x = self.features_1(inputs1)
        y = self.features_2(inputs2)
        z = paddle.concat((x, y), 1)
        z = paddle.flatten(z, 1)
        z = self.linear(z)
        return z

model = MyNet()

x_spec = paddle.static.InputSpec([1, 1, 7, 7], 'float32', 'input1')
y_spec = paddle.static.InputSpec([1, 1, 7, 7], 'float32', 'input2')
paddle.jit.save(layer=model, path='./pd_model/pdmodel',
                input_spec=[x_spec, y_spec])
paddle.onnx.export(layer=model, path='./model',
                   input_spec=[x_spec, y_spec], opset_version=11)

5 ONNX模型可视化

导出成ONNX模型后，可以使用开源可视化工具Netron来查看网络结构及相关配置信息。Netron的使用方式主要分为两种，一种是使用在线网页版 https://netron.app/ ，另一种是下载安装程序 https://github.com/lutzroeder/netron 。此教程中模型的可视化效果为：

6 ir_version和opset_version修改

地平线工具链支持的ONNX模型需要满足 opset_version=10/11 且 ir_version≤7，当拿到的ONNX模型不满足这两个要求时，可以修改代码重新导出，或者尝试编写脚本直接修改ONNX模型的对应属性，第二种方式的示例代码如下：

import onnx

model = onnx.load("./model.onnx")
model.ir_version = 6
model.opset_import[0].version = 10
onnx.save_model(model, "./model_version.onnx")

**注意：**高版本向低版本切换时可能会出现问题，这里只是一种可尝试的解决方案。
调整结束后，使用Netron可视化model_version.onnx，如下图所示：

此时，ONNX模型的ir_version=6，opset_version=10，满足地平线工具链的转换条件。

7 致谢

原文来自于地平线开发者社区，未来会持续发布深度学习、板端部署的相关优质文章与视频，如果文章对您有帮助，麻烦给点个赞，如果您有兴趣一起学习，欢迎点个关注：寻找永不遗憾(CSDN用户名)