1 Computerumgebung

System : Win10
Grafikkarte : NVIDIA GeForce RTX 3090
Cuda-Version : CUDA 11.6.0 (später aktualisiert auf CUDA 11.6.2)
Python-Version : 3.9
TensorRT-Installationsversion : 8.5.1.7
(TensorRT entspricht der CUDA-Version, siehe Literatur [4] [ 5 ] )

2 Laden Sie die Bibliothek herunter und installieren Sie sie

2.1 Erforderliche Ressourcen (vorausgesetzt, cuda und cudnn wurden installiert)

1) TensorRT-8.5.1.7 (Ressourcenpaket herunterladen, Download-Link: https://developer.nvidia.com/tensorrt
2) ONNX (Pip-Online-Installation)
3) Cython (Pip-Online-Installation)
4) Pycuda (Pip-Offline-Installation, Download-Link: https://pypi.org/project/pycuda/2022.1/#history
5) Torch2trt (Pip-Offline-Installation, Download-Link: https://github.com/NVIDIA-AI-IOT/torch2trt

2.2 TensorRT-Download

Laden Sie das komprimierte Paket herunter, das CUDA und Betriebssystem entspricht

3 Installationsprozess

3.1 Installieren Sie ONNX

Download-Link für die Offline-Installation: https://github.com/onnx/onnx/tree/rel-1.6.0
Empfohlener Online-Pip, Installationsbefehl: pip install onnx
Fügen Sie hier eine Bildbeschreibung ein

3.2 Installieren Sie Cython und Pycuda

pip-Installationsbefehl:
pip install cython (Online-Installationsbefehl)
pip install pycuda-2022.1.tar.gz (Offline-Installationsbefehl, Download-Link siehe Kapitel 2.1 )
Fügen Sie hier eine Bildbeschreibung ein
(Das Abhängigkeitspaket pycuda-2022.1.tar.gz wurde versehentlich im Ordner Torch2trt platziert -Master unten)

3.3 Konfiguration und Installation der TensorRT-Umgebung

1) Platzieren Sie das heruntergeladene TensorRT-8.5.1.7 am gewünschten Ort . Ich habe es im Ordner D:\ProgramData\ abgelegt.
2) Fügen Sie den lib-Speicherort von TensorRT zur Umgebungsvariablen hinzu.
Pfad: Dieser Computer – Eigenschaften – Erweiterte Systemeinstellungen – Umgebungsvariablen –
D:\ProgramData\TensorRT-8.5.1.7.Win10.x86_64.cuda-11.8.cudnn8.6\TensorRT - 8.5.1.7\lib
Fügen Sie hier eine Bildbeschreibung ein

3) Pip-Offline-Installation von drei .whl-Dateien
Fügen Sie hier eine Bildbeschreibung ein
(1) pip install graphsurgeon-0.4.6-py2.py3-none-any.whl
(2) pip install uff-0.6.9-py2.py3-none-any.whl
(3) pip install tensorrt-8.5.1.7-cp39-none-win_amd64.whl (wählen Sie die entsprechende Python-Version aus)

4) Kopieren Sie die Tensorrt-Bibliothek in den angegebenen Ordner im CUDA-Installationsverzeichnis.
(1) Kopieren Sie die Header-Dateien in TensorRT-8.5.1.7\include nach C:\Programme\NVIDIA GPU Computing Toolkit\CUDA\v11.6\include
( 2) Kopieren Sie alle lib-Dateien in TensorRT-8.5.1.7\lib nach C:\Programme\NVIDIA GPU Computing Toolkit\CUDA\v11.6\lib\x64. (3) Kopieren Sie alle DLL-Dateien in TensorRT-8.5.1.7\
lib Kopieren Sie nach C:\Programme\NVIDIA GPU Computing Toolkit\CUDA\v11.6\bin

3.4 Torch2trt-Installation

(https://blog.csdn.net/weixin_44077524/article/details/123270054)
Download-Adresse: https://github.com/NVIDIA-AI-IOT/torch2trt
Installationsmethode (Offline-Installation): Python-Setup.py-
Fügen Sie hier eine Bildbeschreibung ein
Installationstest Ob die Installation erfolgreich ist:

4 Gründe, warum die TensorRT-Inferenz sehr langsam ist (ungültig im echten Esrgan-Modell)

Lesen Sie den Artikel [4]: Klicken Sie hier
. Möglicherweise stimmen die Cuda-Version und die TensorRT-Version nicht überein und müssen erneut aktualisiert werden. Wir werden CUDA11.6.0 auf CUDA 11.6.2 aktualisieren

5 Referenzen

[1] Win10-TensorRT-Installationsfallen-Datensatz https://blog.csdn.net/jacke121/article/details/121860556
[2] Installieren Sie TensorRT unter Windows, https://blog.csdn.net/weixin_43917589/article/details/ 122578198
[3] https://docs.nvidia.com/deeplearning/tensorrt/install-guide/index.html#installing-tar
[4] https://blog.csdn.net/dou3516/article/details/124165544
[ 5 ] https://docs.nvidia.com/deeplearning/tensorrt/release-notes/tensorrt-8.html#rel-8-5-1

Tutorial zur Installation von Tensorrt und Torch2trt unter Win10