玩转NVIDIA Jetson （29）---浅谈jetson nano上的CPU绑定

背景

在jetson nano上应用LSTM onnx格式的推理文件时，遇到了推理速度波动很大的问题，快的时候几个毫秒，慢的时候几十个毫秒。最重要的是在我们的应用中无法忽略这种波动，我们希望它能稳定在某个时间值下面，使得我们可以进行下一步的工程设计。

破题

在测试了输入数据，模型batch size及其他超参数都没有效果以后，基本排除了是模型计算带来的差异，几天没有进展，突然有一天早上将目光转移到是否是由于推理时发生了CPU核心的变换，导致计算的不稳定，于是测试了将python部分的代码绑定到固定的CPU核心上，果然解决了这个问题。

步骤

如果是独立运行的python文件，可以参考以下代码

import os
import psutil

# 绑定 CPU 核心
def set_cpu_affinity(core):
    pid = os.getpid()
    p = psutil.Process(pid)
    p.cpu_affinity([core])
    print("Python process running on CPU:", os.sched_getcpu())

# 示例函数
def my_function():
    set_cpu_affinity(1)
    # 进行其他操作

这段代码需要psutil包的支持，jetson下的conda环境中直接使用

conda install psutil

如果是C/C++调用python函数做推理，在C程序中使用下面代码绑定核心

#include <sched.h>
cpu_set_t cpuset;
CPU_ZERO(&cpuset);
CPU_SET(1, &cpuset);
sched_setaffinity(0, sizeof(cpuset), &cpuset);

总结

根据问题，找到原因，因地制宜