使用两种方法，实时查看 GPU 使用情况；彻底杀死制定进程
1. nvidia-smi
使用终端命令 nvidia-smi 查看显卡信息
如果你想实时检测显卡使用情况，添加 watch -n 即可
watch -n 4 nvidia-smi
其中，4 是指 4 秒刷新一次终端，可以根据自己的需求设置
2.gpustat
安装过程很简单，直接 pip 即可（本人是这样），使用 gpustat --json 以 json 形式呈现 gpu 信息
使用 gpustat -i 命令可以查看用户使用 gpu 情况
使用以下命令，可以查看更具体的信息，比如用户 xxx 的 xxx 进程占用情况
watch --color -n 1 gpustat -cpu
3.总结
nvidia-smi 方法显示的内容更全面，包括 pid
gpustat 方法可以定位到某个用户的某个任务占用 gpu 情况
4.杀进程
我们经常遇到卡死进程然后用 ctrl + z 强制关闭程序的情况，这样关掉的进程不会被释放，还占用内存空间，可以使用以下命令彻底杀死进程
A.查看强关的进程信息
jobs -l
B.彻底杀死进程
kill -9 pid
C.批量杀进程
pkill xxx
其中 xxx 是关键字