фон:
Когда TensorRT запускает тестовый пример, появляется следующее предупреждение: Отложенная загрузка CUDA не включена. Включение этого параметра может значительно сократить использование памяти устройства и ускорить инициализацию TensorRT. См. раздел «Отложенная загрузка» документации CUDA https://docs.nvidia.com /cuda/cuda-c-programming-guide/index.html#lazy-loading
причина
Бета-версия драйвера NVIDIA Linux и версия драйвера ядра NVIDIA GPU с открытым исходным кодом выпускаются вместе с CUDA 11.7.
Набор инструментов NVIDIA CUDA 11.7 теперь доступен как последнее обновление функций для собственного вычислительного стека NVIDIA. В CUDA 11.7 реализована поддержка совместимости с новым модулем ядра NVIDIA Open GPU. Еще одним важным моментом является поддержка отложенной загрузки.
Отложенная загрузка: задержка загрузки ядра с хоста на графический процессор до тех пор, пока не будет вызвано ядро. При этом также загружаются только используемые ядра, что может существенно сэкономить память на стороне устройства. Это также задерживает задержку загрузки от начала приложения до первого вызова ядра — общая задержка двоичной загрузки обычно значительно уменьшается, но также смещается на более поздние стадии приложения.
Чтобы включить эту функцию, установите переменную среды CUDA_MODULE_LOADING=LAZY перед запуском процесса.
Обратите внимание, что эта функция совместима только с библиотеками, скомпилированными с версией CUDA >= 11.7.
Запустите еще раз, тревожного сообщения нет.