LlamaGPT es un chatbot similar a ChatGPT, fuera de línea y autohospedado con tecnología de Llama 2. 100% privado, ningún dato sale de tu dispositivo.
Recomendación: use el editor NSDT para crear rápidamente escenas 3D programables
1. Cómo instalar LlamaGPT
LlamaGPT se puede instalar en cualquier sistema x86 o arm64.
Primero asegúrese de tener Docker instalado. Luego, clone este repositorio y cambie al directorio:
git clone https://github.com/getumbrel/llama-gpt.git
cd llama-gpt
Ahora puedes ejecutar LlamaGPT con cualquiera de los siguientes modelos, dependiendo de tu hardware:
| tamaño del modelo | modelo usado | RAM mínima requerida | Cómo iniciar LlamaGPT |
|---|---|---|---|
| 7b | Nous Hermes Llama 2 7B (GGML q4_0) | 8GB | ventana acoplable redactar -d |
| 13b | Nous Hermes Llama 2 13B (GGML q4_0) | 16 GB | docker componer -f docker-compose-13b.yml arriba -d |
| 70b | Chat Meta Flame 2 70B (GGML q4_0) | 48 GB | ventana acoplable componer -f ventana acoplable-componer-70b.yml arriba -d |
Se puede http://localhost:3000acceder a LlamaGPT a través de .
Para detener LlamaGPT, ejecute:
docker compose down
2. Prueba comparativa
Probamos el modelo LlamaGPT en el siguiente hardware con el indicador predeterminado del sistema y el indicador del usuario: "¿Cómo se está expandiendo el universo?" Los resultados deterministas están garantizados cuando la temperatura se establece en 0. La velocidad de construcción es un promedio de las 10 generaciones anteriores.
- Nous Hermes Llama 2 7B (GGML q4_0)
| equipo | Velocidad de generación |
|---|---|
| M1 Max MacBook Pro (10 64 GB de RAM) | 8.2 fichas/segundo |
| Umbrel Home (16 GB de RAM) | 2,7 fichas/segundo |
| Frambuesa Pi 4 (8 GB de RAM) | 0,9 fichas/segundo |
- Nous Hermes Llama 2 13B (GGML q4_0)
| equipo | Velocidad de generación |
|---|---|
| M1 Max MacBook Pro (64 GB de RAM) | 3,7 fichas/segundo |
| Umbrel Home (16 GB de RAM) | 1,5 fichas/segundo |
- Meta Llama 2 70B Charla (GGML q4_0)
Desafortunadamente, todavía no tenemos puntos de referencia para este modelo.
Enlace original: Chatbot autohospedado LlamaGPT — BimAnt