清华大学开源的chatGLM-6B部署实战

Windows部署

win10

通过wsl部署

常见问题:

torch.cuda.OutOfMemoryError: CUDA out of memory.

在Windows的系统环境变量中增加
变量名:PYTORCH_CUDA_ALLOC_CONF
变量值:max_split_size_mb:32
文档书写时使用3090 24G显存配置,其他规格酌情调整 32 至其他值,如未设置变量默认值128极大概率导致 CUDA OOM

无法正常启动:比如命令卡死、无响应、不继续执行等等非报错异常

无敌三步走
1.Ctrl+C 终止命令执行,重新执行命令
2.退出实例exit,关闭实例wsl --shutdown,启动并进入实例 wsl
3.重启电脑,重新进入实例,重新执行命令

查看虚拟化是否启用

调取任务管理器 Ctrl+Shift+EscWin+X -> T任务栏-> 右键 -> 任务管理器
性能 -> CPU -> 右下角虚拟化已启用
其他方式自行搜索

  1. 前置准备

猜你喜欢

转载自blog.csdn.net/linjie_830914/article/details/130035434