TensorRT をダウンロード
自分の CUDA バージョンに応じて、対応する TensorRT 圧縮パッケージをダウンロードします。私は NVIDIA GeForce 3090、CUDA11.1 を使用し、nvcc -V
CUDA バージョンを確認するために使用します。
(base) C:\Users\Administrator>nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2020 NVIDIA Corporation
Built on Mon_Oct_12_20:54:10_Pacific_Daylight_Time_2020
Cuda compilation tools, release 11.1, V11.1.105
Build cuda_11.1.relgpu_drvr455TC455_06.29190527_0
以下の図に示すように、Nvidia 公式 Web サイトにアクセスして、対応する TensorRT バージョンをダウンロードします。
解凍する
TensorRT で bin フォルダーに入り、cmd でsample_mnist.exe を実行し、以下のように表示されればインストールは成功です。