【问题记录】如何查找服务器的 cuda 环境变量 TORCH_CUDA_ARCH_LIST

设置 TORCH_CUDA_ARCH_LIST 环境变量主要有以下几个好处:

  • 编译时间:当你从源代码编译PyTorch或其他依赖CUDA的库时,指定特定的CUDA架构可以减少编译时间。默认情况下,库可能会为所有支持的CUDA架构生成二进制代码,这可能需要相当长的时间。如果你只指定自己实际使用的那些架构,就可以节省大量时间。

  • 磁盘空间:预编译的二进制文件可能会占用大量磁盘空间。通过限制要支持的CUDA架构数量,可以减少这些文件所需的存储空间。

  • 运行性能:在某些情况下(尤其是在使用老旧GPU时),为特定架构优化过的代码可能比通用代码运行得更快。

python -c "import torch; print(torch.cuda.get_device_capability())"
>>> (8, 0) # 对应的就是 8.0

在安装环境的时候可以使用 TORCH_CUDA_ARCH_LIST=“8.0” python setup.py install 来安装,能加速

猜你喜欢

转载自blog.csdn.net/jiaoyangwm/article/details/134338386