背景：
在TensorRT运行测试用例的时候出现以下warning：CUDA lazy loading is not enabled. Enabling it can significantly reduce device memory usage and speed up TensorRT initialization. See “Lazy Loading” section of CUDA documentation https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#lazy-loading
原因
NVIDIA Linux驱动测试版和NVIDIA GPU内核驱动开源版一起发布的是CUDA 11.7。
NVIDIA CUDA 11.7 Toolkit现在可以作为NVIDIA专有计算栈的最新功能更新。CUDA 11.7带来了对新的NVIDIA Open GPU内核模块的兼容性支持，另外一个重要的亮点是延迟加载支持。
延迟加载:延迟内核从主机加载到GPU，直到内核被调用。这也只加载已使用的内核，这可能会显著节省设备端内存。这也将加载延迟从应用程序的开始推迟到第一次调用内核的时候——总的二进制加载延迟通常会显著减少，但也会转移到应用程序的后期。
要启用这个特性，在启动进程之前设置环境变量CUDA_MODULE_LOADING=LAZY。
注意，这个特性只兼容CUDA版本>= 11.7编译的库。
再次运行，没有报警信息了。