최근에 ChatGLM 대형 언어 모델을 작업하고 있습니다.로컬 windows10에서 방금 langchain-ChatGLM2-6B를 실행했습니다.설치 단계는 다음과 같습니다. 장치 구성: CPU E3-1240v3, RAM 32G, SSD 1T
, GPU0 Nvidia 1080ti, GPU1 Nvidia T4
OS: Windows10 Professional 버전
설치 단계:
1. 먼저 Anaconda를 설치합니다( https://www.anaconda.com/download/ )
. 2. "시작"을 클릭합니다. - Anaconda Powershell Prompt를 엽니다
. 3. Conda를 최신 버전으로 업데이트합니다.
콘다 업데이트 콘다
4. 필요한 Conda 채널을 추가하여 더 많은 패키지를 얻습니다.
conda config --add channels conda-forge
conda config --add channels defaults
설치 성공 여부 테스트
conda list에
Conda 및 내부 패키지 목록이 표시되면 설치가 성공한 것입니다.
5. 가상 환경 생성
conda create -n langchain-chatglm python==3.10.9
conda activate langchain-chatglm
6. langchain-ChatGLM
md c:\ChatGLM
cd c:\ChatGLM
배포 git clone https://github.com/ imClumsyPanda /langchain-ChatGLM
cd langchain-ChatGLM
pip3 install -r requirements.txt
오류가 보고되면(일반적으로 전송 시간 초과) 여러 번 다시 실행
pip3 install -U gradio
pip3 설치 modelscope
pip3 설치 가속
7. langchain-ChatGLM2
python.exe ./webui.py --model-name chatglm2-6b 시작
8. langchain-ChatGLM2에 액세스
하고 브라우저를 사용하여 http://localhost:7860/을 엽니다.
남은 문제는 기본 webug.py가 GPU를 사용하지 않고 순수한 CPU가 실행되며 속도가 매우 느리다는 것입니다.