Récemment, le modèle de langage ChatGLM-6B open source de l'Université Tsinghua est devenu un grand succès dans le monde. C'est un petit modèle avec seulement 6,2 milliards de paramètres, mais il est très performant. Dans l'attente de la sortie de leur modèle de suivi à 130 milliards de paramètres 130B.
Pourquoi certains petits modèles aux capacités plus faibles sont-ils si recherchés ? Parce que bien que ChatGPT et GPT-4 soient bons, ils sont après tout bloqués par des pays étrangers, et ils doivent payer. Plus important encore, LLM doit améliorer la productivité dans diverses industries. De nombreuses entreprises devront déployer elles-mêmes des modèles linguistiques à l'avenir. Après tout, personne n'ose divulguer vos propres données commerciales pour former l'IA d'autres personnes, confectionner des robes de mariée pour d'autres et finalement ruiner votre propre travail.
Ici, sur la base de mon expérience pratique, je vais partager comment créer moi-même un serveur de modèle de langage. L'effet final est le suivant :
Tout d'abord, vous avez besoin d'une machine avec un GPU puissant. Il est recommandé de louer une machine d'entraînement AI telle que Tencent Cloud ou Alibaba Cloud. Une carte graphique T4 fera l'affaire. Le prix général est de quelques centimes par heure. J'ai arraché l'hôte de l'activité seckill de Tencent Cloud, 60 yuans pour un demi-mois, le prix du chou. Les tyrans locaux peuvent installer leurs propres machines et jouer longtemps.
Ceux qui peuvent faire ce travail sont tous des codeurs, alors ne dites pas de bêtises, utilisez simplement la commande sh (:
#我的主机环境是 Ubuntu Server 18.04 LTS 64位，预装了
# Pytorch 1.9.1 Ubuntu 18.04 GPU基础镜像（预装460驱动）
#以下命令从 /root 目录位置开始进行操作的
#更新Ubuntu软件源
apt-get update
#创建目录用于存放ChatGLM源代码
mkdir ChatGLM
cd ChatGLM/
#克隆ChatGLM-6B程序源代码
git clone https://github.com/THUDM/ChatGLM-6B.git
#创建目录用于存放ChatGLM6B-int4量化模型
mkdir model
cd model/
#安装git-lfs便于文件管理
apt install git-lfs
#当前目录初始化为git仓库、安装lfs
git init
git lfs install
#克隆ChatGLM-6B的int4量化模型
git clone https://huggingface.co/THUDM/chatglm-6b-int4
#安装python调用cuda的工具包
apt install nvidia-cuda-toolkit
cd ChatGLM-6B/
#添加三行依赖：
vim requirements.txt
chardet
streamlit
streamlit-chat
#安装所需的python依赖库
pip install -r requirements.txt
#代码中2处修改为模型绝对路径：
vim web_demo2.py
/root/ChatGLM/model/chatglm-6b-int4
#运行ChatGLM6B 的web版聊天程序，即可访问http://主机IP:8080进行聊天
python3 -m streamlit run ./web_demo2.py --server.port 8080
Cet article provient de Knowledge Planet : ConnectGPT, un petit cercle dédié à l'exploration de la technologie d'application de l'IA et des modèles de langage.
