1. Téléchargement du code d'entrepôt MOSS et préparation de l'environnement
-
Télécharger le contenu de cet entrepôt sur le serveur local/distant
git clone https://github.com/OpenLMLab/MOSS.git
-
installer les dépendances
cd MOSS
pip install -r requirements.txt
-
Pour utiliser le modèle quantifié, vous devez installer triton
pip install triton
Remarque : une erreur Triton non installé peut se produire lors de l'utilisation de triton. Si vous confirmez que triton a été installé, vous pouvez placer le fichier custom_autotune.py téléchargé depuis l'entrepôt (code source Moss téléchargé) dans le dossier correspondant aux modules huggingface, et entrez le répertoire de l'entrepôt.
cp custom_autotune.py ~/.cache/huggingface/modules/transformers_modules/local/
2. Téléchargez le modèle de modèle MOSS correspondant
Le modèle que j'ai téléchargé est moss-moon-003-sft-int8.
Pour l'introduction et le téléchargement de tous les modèles actuels d'autres Moss, veuillez vous référer à l'adresse suivante (il existe également un lien d'adresse correspondant dans github) : https://huggingface.co/fnlp
Présentation du modèle
-
moss-moon-003-base : modèle de base MOSS-003, qui est obtenu par une pré-formation auto-supervisée sur un corpus chinois et anglais de haute qualité. Le corpus de pré-formation contient environ 700 B mots et la quantité de calcul est d'environ 6,67. opérations en virgule flottante x1022.
-
mousse-lune-003-sf