chameau 2

Nous libérons la puissance des grands modèles de langage. Notre dernière version de Llama est désormais disponible pour les particuliers, les créateurs, les chercheurs et les entreprises de toutes tailles afin qu'ils puissent expérimenter, innover et faire évoluer leurs idées de manière responsable.

Cette version inclut des pondérations de modèle et un code de démarrage pour la pré-formation et le réglage fin du modèle de langage Llama - paramètres allant de 7B à 70B.

Ce référentiel est conçu comme un exemple minimal pour charger un modèle Llama 2 et exécuter l'inférence. Voir les recettes de lama pour un exemple plus détaillé utilisant HuggingFace .

télécharger

⚠️ 18/07 : Nous savons que quelqu'un rencontre des problèmes de téléchargement aujourd'hui. Toute personne ayant encore des problèmes doit supprimer tous les fichiers locaux, recloner le référentiel et demander un nouveau lien de téléchargement . Faire tout cela est essentiel si vos fichiers locaux sont corrompus. Lorsque vous recevez l'e-mail, copiez simplement le texte du lien - il doit commencer par https://download.llamameta.net , et non https://l.facebook.com ou vous obtiendrez une erreur.

Pour télécharger des poids de modèle et des tokenizers , visitez le site Web de Meta AI et acceptez notre licence.

Une fois votre demande approuvée, vous recevrez une URL signée par e-mail. Exécutez ensuite le script download.sh, en transmettant l'URL fournie lorsque vous êtes invité à démarrer le téléchargement . Assurez-vous de copier le texte de l'URL lui-même et n'utilisez pas l'option "Copier l'adresse du lien" lorsque vous cliquez avec le bouton droit sur l'URL . Si le texte de l'URL copié commence par https://download.llamameta.net , vous l'avez copié correctement. Si le texte de l'URL que vous avez copié commence par : https://l.facebook.com , vous l'avez copié dans le mauvais sens.

Prérequis : Assurez-vous de l'avoir wgetinstallé md5sum. Exécutez ensuite le script : ./download.sh.

N'oubliez pas que les liens expireront après 24 heures et un certain nombre de téléchargements. Si vous commencez à voir des erreurs comme celle-ci 403: Forbidden, vous pouvez toujours redemander le lien .

câlin visage visite

Nous proposons également des téléchargements sur Hugging Face . Vous devez d'abord demander le téléchargement sur le site Web Meta AI en utilisant la même adresse e-mail que votre compte Hugging Face. Une fois cela fait, vous pouvez demander l'accès à n'importe quel modèle sur Hugging Face et dans un délai de 1 à 2 jours, votre compte aura accès à toutes les versions.

installation

Dans un environnement conda avec PyTorch/CUDA, clonez le référentiel et exécutez-le dans le répertoire de niveau supérieur :

<span style="color:#1f2328"><span style="background-color:#ffffff"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>pip install -e .
</code></span></span></span></span>

raisonnement

Différents modèles nécessitent différentes valeurs de parallélisme de modèle (MP) :

Modèle	Membre du Congrès
7b	1
13b	2
70b	8

max_seq_lenTous les modèles prennent en charge des longueurs de séquence allant jusqu'à 4096 jetons , mais nous pré-allouons des tampons en fonction des valeurs de somme max_batch_size. Veuillez donc le régler en fonction de votre matériel.

modèle pré-formé

Ces modèles ne sont pas affinés pour le chat ou la réponse aux questions. Ils doivent être invités de manière à ce que la réponse attendue devienne une suite naturelle de l'invite.

Voir example_text_completion.pyquelques exemples. Pour illustrer cela, voir la commande ci-dessous pour l'exécuter avec le modèle llama-2-7b ( nproc_per_nodedoit être défini sur cette MPvaleur) :

<span style="color:#1f2328"><span style="background-color:#ffffff"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>torchrun --nproc_per_node 1 example_text_completion.py \
    --ckpt_dir llama-2-7b/ \
    --tokenizer_path tokenizer.model \
    --max_seq_len 128 --max_batch_size 4
</code></span></span></span></span>

Modèle de chat affiné

Le modèle affiné est entraîné pour les applications conversationnelles. Pour leurs fonctionnalités et performances prévues, chat_completion doit suivre un format spécifique défini dans chat_completion , y compris INSTles espaces et les sauts entre <<SYS>>les onglets, BOSles jetons et (nous vous recommandons d'appeler input pour éviter les doubles espaces).EOSstrip()

Vous pouvez également déployer d'autres classificateurs pour filtrer les entrées et les sorties jugées dangereuses. Voir le référentiel llama-recipes pour un exemple d'ajout de vérificateurs de sécurité à l'entrée et à la sortie du code d'inférence .

Exemple utilisant lama-2-7b-chat :

<span style="color:#1f2328"><span style="background-color:#ffffff"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>torchrun --nproc_per_node 1 example_chat_completion.py \
    --ckpt_dir llama-2-7b-chat/ \
    --tokenizer_path tokenizer.model \
    --max_seq_len 512 --max_batch_size 4
</code></span></span></span></span>

Llama 2 est une nouvelle technologie et son utilisation présente des risques potentiels. Les tests effectués jusqu'à présent n'ont pas (et n'ont pas pu) couvrir tous les scénarios. Pour aider les développeurs à faire face à ces risques, nous avons créé des directives d'utilisation responsable . Plus de détails peuvent également être trouvés dans notre document de recherche.

question

Veuillez signaler tout "bogue" logiciel ou tout autre problème lié au modèle par l'une des méthodes suivantes :

Signaler les problèmes de modèle : github.com/facebookresearch/llama
Signalez le contenu à risque généré par les modèles : developers.facebook.com/llama_output_feedback
Signaler des bogues et des problèmes de sécurité : facebook.com/whitehat/info

modèle de carte

Voir MODEL_CARD.md .

Licence

Nos modèles et poids sont sous licence de chercheurs et d'entités commerciales, adhérant à des principes ouverts. Notre mission est d'autonomiser les individus et l'industrie grâce à cette opportunité, tout en favorisant un environnement propice à la découverte et à l'avancement éthique de l'IA.

Veuillez consulter le fichier de licence et notre politique d'utilisation acceptable qui l'accompagne

référence

chameau primitif

Le référentiel de la version originale de llama se trouve dans la branche llama_v1 .

lama 2 documentation officielle github