Respuesta a la pregunta: Preferiblemente, su GPU debe estar asignada completa y continuamente. De lo contrario, es posible que su rango no sea igual al GPU_id que cargó.
Problema resuelto: use os.environ[“CUDA_VISIBLE_DEVICES”] = "0, 3" para especificar la GPU y utilícelos todos cuando en realidad haya varias GPU.
import os, sys
os.environ["CUDA_VISIBLE_DEVICES"] = "0, 3"