introducción:
P: ¿Qué es oobabooga?
oobabooga-text-generation-webui es una interfaz de usuario web de Gradio para ejecutar modelos de lenguaje grandes como Chatglm, RWKV-Raven, Vicuna, MOSS, LLaMA, llama.cpp, GPT-J, Pythia, OPT y GALACTICA. Su objetivo es ser AUTOMATIC1111/stable-diffusion-webui para la generación de texto.
Aquí está su enlace de github: https://github.com/oobabooga/text-generation-webui
En pocas palabras, es un lanzador de modelos de lenguaje.
Puede cargar casi todos los modelos populares y ejecutarlos localmente. Lo que puede hacer el modelo de idioma, puede experimentar qué, procesamiento de texto, ama de llaves personal, consultor de conocimientos, enseñanza privada, esta es una versión debilitada de chatgpt que no está conectada a Internet, pero es diferente de las restricciones de revisión de diálogo y cobro de chatgpt , personalización El modelo local ofrece posibilidades casi ilimitadas. (Sí, puedes entrenar por completo a tu propia chica gato o experimentar todo tipo de contenido extraño, ejem) y, al mismo tiempo, puedes encontrar fácilmente más de una docena de modelos en huggingface. El entorno activo permite que los modelos pequeños se desarrollen rápidamente. , con varios modelos nuevos que aparecen casi todas las semanas, siempre hay uno que cumple con sus requisitos.
P: ¿Cuáles son las funciones principales de oobabooga-text-generation-webui?
Webui admite muchas funciones, la mayoría de las cuales he resaltado en negrita.
Similar a la interfaz fácil de usar de difusión estable.
Modo de instalación amigable con un solo clic.
La compatibilidad del modelo es excelente y se pueden cargar todos los modelos principales.
Capacidad de cambio de modelo con un solo clic, cambie rápidamente entre varios modelos de idioma.
Gestión de personajes independiente, carga con un clic
Similar a la interfaz de comunicación en modo bloc de notas de OpenAI.
Modo de chat para diálogo y juego de roles
con Alpaca, Vicuna, Open Assistant, Dolly, Koala, ChatGLM, MOSS, RWKV-Raven, Galactica, StableLM, WizardLM, Baize, Ziya, Chinese-Vicuna, MPT, INCITE, Wizard Mega, modos de instrucción compatibles para varios formatos, incluidos KoAlpaca, Vigogne, Bactrian, h2o y OpenBuddy
Canalización multimodal que incluye LLaVA y MiniGPT-4
Salida Markdown para GALACTICA, incluido el renderizado LaTeX
Hermosa salida HTML para GPT-4chan
Función avanzada de chat (envío de imágenes, obtenga respuesta de audio con TTS)
muy eficiente Procesamiento de flujo de texto
Ajustes preestablecidos de parámetros enriquecidos
El modelo LLaMA admite
4 bits El modelo GPTQ admite
LoRA (carga y entrenamiento) El
modelo llama.cpp admite el
modelo RWKV El modelo admite
el modo de 8 bits
Distribución de capas del modelo GPU, CPU y disco
Modo de CPU
FlexGen
DeepSpeed ZeRO-3
con API de transmisión y no transmisión
Para obtener una introducción al complemento koishi que hice, si no sabe qué es koishi, puede consultarlo aquí:
https://koishi.chat/zh-CN/
Presente brevemente el complemento oobabooga-testbot:
El complemento oobabooga-testbot es un complemento de robot qq basado en el iniciador del modelo de lenguaje oobabooga-text-generation-webui, que implementa algunas instrucciones básicas, lo que le permite comunicarse con el modelo de lenguaje en el robot qq sin llevar una computadora Está bien tener un teléfono móvil. Admite la carga de caracteres, la respuesta de voz de vits, el dibujo del complemento de llamada de etiqueta suplementaria de AI y otras funciones.
(Después de todo, quién no quiere que una chica gato en línea lo acompañe en todo momento)
Publicación del tutorial del complemento: https://forum.koishi.xyz/t/topic/2391
De hecho, este tutorial se publicó anteriormente en el foro de koishi. Teniendo en cuenta que no todos saben mucho sobre oobabooga, recreé una publicación de tutorial aquí para ayudarlo a instalarlo.
Tabla de contenido:
La primera parte oobabooga-text-generation-webui
1. Pantalla de página interactiva oobabooga-text-generation-webui.
2. Cómo compilar localmente (instalación de github con un solo clic, no se informó ningún error durante todo el proceso)
3. Cómo compilar localmente (instalación de github con un solo clic, según la instalación y el informe de errores)
4. Cómo compilar localmente (instalación manual paso a paso de github)
5. Descarga del modelo
6. Recorrido general por la página interactiva de oobabooga
7. Por qué te recomiendo usar oobabooga-text-generation-webui.
La segunda parte es el uso del complemento oobabooga-testbot y la creación de documentos de diseño humano.
1. Instalación de complementos
2. Habilite la llamada a la API de oobabooga
3. Tutorial de complementos
4. Crea tu propio perfil
La primera parte oobabooga-text-generation-webui
1. Pantalla de página interactiva oobabooga-text-generation-webui.
Página de intercambio de texto:
página de intercambio de texto
Página de creación de personal:
Pagina de creacion de personal
Interfaz de carga y selección de modelos:
Interfaz de selección y carga de modelos
2. Cómo compilar localmente (no se informa ningún error en todo el proceso)
Se proporcionan dos métodos de construcción en github:
Paquete de instalación con un solo clic.
Instalación manual paso a paso.
Otras formas de construir:
Coyude , el líder de la estación b, proporciona un paquete perezoso para la descompresión e instalación con un solo clic , pero no he probado si es compatible con el complemento.
Dirección de la columna:
El jefe de la estación b, AI Skimo, proporcionó un video tutorial detallado.
https://www.bilibili.com/video/BV1fP41127ra/?
Esta columna se centrará en el uso de descripciones de texto detalladas para ayudarlo a usar la instalación del paquete de instalación con un solo clic y la construcción manual paso a paso en github.
Proceso de instalación de GitHub con un solo clic
1. Primero ve a la página de inicio de github. (Se requiere acceso científico a Internet, el siguiente contenido se lleva a cabo bajo la premisa del acceso científico a Internet)
Dirección: https://github.com/oobabooga/text-generation-webui
2. Busque las siguientes opciones:
Puede ver que la instalación con un solo clic ahora es compatible con Windows, Linux y MacOS.
Tomemos el sistema Windows como ejemplo:
(Nota: el siguiente proceso completo está bajo el sistema Windows 10)
Seleccione el enlace para descargar:
La descarga debe ser un paquete comprimido:
Descomprimir
Aquí están los archivos descomprimidos:
¡Aviso! Asegúrese de colocar el archivo en la ruta completa en inglés y no contenga espacios u otros símbolos especiales.
Aquí hay un ejemplo: D:\oobabooga\oobabooga_windows
El cuerpo de oobabooga ocupará aproximadamente 10 g de espacio en disco, y el tamaño de un modelo de un solo idioma es de aproximadamente 10 g, y también hay modelos 14b muy grandes que pueden superar los 29 g, así que asegúrese de que su espacio en disco sea de al menos aproximadamente 50 g. Al cargar el modelo, los datos se importarán a la memoria, por lo que cuanto mayor sea la velocidad de lectura de su disco, mejor.Personalmente, se recomienda ponerlo en SSD, que puede acelerar significativamente la velocidad de carga.
prestar atención:
Los próximos pasos deben ir en línea científicamente para instalarlo correctamente. Si no, por favor, Baidu. No entraré en detalles aquí.
Luego hacemos doble clic para ejecutar start_windows.bat
Automáticamente descargará miniconda y lo instalará en el directorio actual.
La instalación de la miniconda está completa:
Esto le permitirá elegir su tipo de GPU
R: NVIDIA, elija A para N tarjeta
B: AMD, elija B para la tarjeta A
C: Serie M de Apple, Apple elige C
D: No hay tarjeta gráfica, o la tarjeta gráfica es demasiado débil, los usuarios que usan CPU para ejecutar el modelo eligen D (la respuesta será muy lenta)
Mi tarjeta gráfica local es RTX3090 aquí, así que elijo A, ingreso A y presiono Enter para continuar.
Luego comenzará a descargar un montón de cosas automáticamente, no se requiere ninguna acción.
Este paso llevará mucho tiempo, dependiendo de su velocidad de Internet, espere pacientemente .
Esperé aquí durante unos 15 minutos para terminar.
Esto parece indicar que la descarga está completa y comienza la instalación de descompresión. Continúe esperando.
Esta instrucción parece comenzar a instalar dependencias. Continúe esperando .
La probabilidad de reporte de error en este paso es muy alta, si hay un reporte de error rojo, significa que hay un problema con su instalación dependiente. La gran mayoría de los problemas de instalación se encuentran aquí. Consulte el segundo método a continuación para obtener más detalles.
Aparece el siguiente aviso:
Enhorabuena, ha instalado correctamente oobabooga.
La estructura de directorios actual debería verse así:
Ejecutamos start_windows.bat para probar el inicio de oobabooga.
Dado que solo hemos instalado oobabooga y no hemos descargado ningún modelo, se le pedirá que elija un modelo para descargar al comenzar.
Puede elegir uno para descargar, pero la velocidad será más lenta. Mi sugerencia personal es usar idm para ir directamente a huggingface para encontrar el modelo correspondiente para descargar.
A continuación, vaya a la sección de descarga del modelo.
3. Cómo construir localmente (dependiendo de la instalación y reportando un error)
Desafortunadamente, parece que ha encontrado un informe de error. El informe de error puede verse muy diferente, pero las soluciones son similares.
Ahora tome este error de instalación como un ejemplo:
Esto significa que las dependencias no se han descargado por completo. La razón de esto es generalmente que su entorno de red es inestable. Si es posible, reemplace el nodo y ejecute el instalador nuevamente. De lo contrario, siga los pasos a continuación.
Si la instalación sigue fallando de nuevo:
Si aún falla, primero cierre la consola actual y luego ingrese aleatoriamente a un sitio web extranjero para asegurarse de que no haya ningún problema con su escalera , y luego continúe con los siguientes pasos.
Ingrese al directorio raíz:
Error de instalación de dependencia Este problema generalmente ocurre después de que se completa la instalación de miniconda y el proyecto github se clona con éxito. En este momento, su miniconda generalmente no es un problema. Su directorio de actualización debe ser el mismo que en la imagen, y hay un archivo llamada carpeta text-generation-webui.
De lo contrario, no continúe y vaya al mensaje privado o al área de comentarios para hacer preguntas.
Después de asegurarse de que el archivo existe, puede continuar:
Para arreglar esto necesitamos ingresar primero a miniconda.
Haga doble clic para ejecutar el archivo cmd_windows.bat
Aparecerá una ventana negra:
Tipo: cd texto-generación-webui
retorno de carro
Escriba: pip install -r requisitos.txt
retorno de carro
En este punto, el programa debería comenzar a instalarse:
Una vez completada la instalación, oobabooga debería poder ejecutarse normalmente.
Si le sucede algo aún más desafortunado, aún se informa un error durante el proceso de instalación, similar a este:
Continúe con los siguientes pasos:
Ahora vaya al directorio de cambios, ingrese text-generation-webui y busque el archivo de requisitos:
Después de abrir, elimine las tres líneas de z, guarde y salga:
Luego regrese al directorio raíz, busque cmd_windows.bat, haga doble clic para ejecutar y crear una nueva consola:
Ingrese y presione Entrar
pip instalar peft
pip instalar transformadores
pip instalar acelerar
cd text-generación-webui
pip install -r requisitos.txt
Luego espere a que se complete la instalación.
Cuando haya terminado, vuelva al directorio raíz.
Ejecute update_windows.bat para verificar todas las dependencias
Si se hace normalmente:
Entonces tu oobabooga debería estar funcionando bien.
A continuación, vaya a la sección de descarga del modelo.
Si el problema no se ha resuelto, envíe un mensaje privado o deje un mensaje en el área de comentarios.
4. Cómo compilar localmente (instalación manual paso a paso de github)
A continuación, explicaré paso a paso el proceso de construcción manual en github.
La instalación manual requiere algunos conocimientos avanzados, por lo que asumo que ya tiene estos conocimientos, por lo que el tutorial será relativamente simple.
Primero necesitas instalar Conda o WSL
Aquí no explicaré cómo instalarlo en detalle, hay muchos tutoriales sobre la estación b, para que puedas aprenderlo por ti mismo.
A continuación, continuaré con el sistema de ventanas y el entorno virtual conda instalado.
Vaya al directorio donde desea instalar oobabooga
Editar después de la selección del mouse:
Presiona Enter, deberías abrir una ventana cmd:
Primero crea el entorno virtual:
conda crear -n textgen python=3.10.9
Activar conda:
conda activate textgen
Luego, de acuerdo con su sistema, instale Pytorch
El entorno de Windows es la primera frase:
pip instalar antorcha torchvision torchaudio
Luego instale oobabooga
clon de git https://github.com/oobabooga/text-generation-webui
cd en la carpeta
cd text-generación-webui
instalar dependencias
pip install -r requisitos.txt
Espere a que se ejecuten las dependencias para completar la instalación.
Para obtener más detalles, vaya a la página de github: https://github.com/oobabooga/text-generation-webui
A continuación, vaya a la sección de descarga de modelos.
Si ocurre un error
Intente utilizar el método de manejo de errores en el método anterior para solucionarlo.
Si aún no funciona, puede optar por hacer preguntas en el área de comentarios o enviar un mensaje privado .
5. Descarga del modelo
A continuación, presentaré brevemente cómo descargar el modelo e iniciarlo en oobabooga.
Vayamos al sitio web oficial de huggingface: https://huggingface.co/
Usaré el modelo de Chatglm como ejemplo.
Buscar modelo:
Elige el primero: https://huggingface.co/THUDM/chatglm-6b
Luego llegaremos a esta interfaz:
A continuación, hay dos opciones, puede usar el descargador que viene con oobabooga para descargar el modelo o elegir el archivo para descargarlo usted mismo.
Utilice el descargador integrado de oobabooga
Ventajas: Simple, no es fácil cometer errores y el formato del archivo del modelo debe ser correcto.
Desventajas: lento.
Método: Primero hacemos clic aquí:
Luego volvemos a esta interfaz:
Seleccione la opción L para especificar manualmente un modelo de cara de abrazo
Luego pegamos lo que acabamos de copiar en
Presiona Enter y comenzará a descargarse automáticamente.
El directorio de descarga es: \oobabooga_windows\text-generation-webui\models
Dentro de la carpeta se encuentra el modelo descargado.
De esta manera solo ocurre cuando no tienes ningún modelo.
Si ya tiene un modelo y todavía quiere usar oobabooga para descargar el modelo, puede saltar a la introducción de la pestaña del modelo de la navegación general en la página interactiva.
Descargue el archivo del modelo usted mismo:
ventajas: rápido
contras: manuales
Método: Primero ingresamos al directorio de almacenamiento del modelo
\oobabooga_windows\text-generación-webui\modelos
Cree una nueva carpeta, diga:
Luego vamos a la página huggingface de Chatglm:
https://huggingface.co/THUDM/chatglm-6b
Selecciona archivos:
Descargue todos los archivos aquí en el archivo que acaba de crear:
El interior de la carpeta del modelo completo debería verse así:
¡Aviso!
Los diferentes tipos de modelos tienen diferentes formatos de modelo.En términos generales, solo necesita descargar todos los archivos en huggingface. Si aún tiene preguntas, únase al grupo para preguntar.
A continuación seguimos cargando el modelo de oobabooga
Deberías haber descargado el modelo.
Si solo hay un modelo en la carpeta de modelos, oobabooga lo cargará automáticamente . Si hay varios modelos, como yo, saltará de la página de selección de modelos:
Ahora tomamos Vicuña-13b como caso para iniciar el modelo.
(¿Por qué no usar Chatglm como ejemplo porque Chatglm necesita instalar icetk adicionalmente? Hablaré de eso en detalle más adelante)
(¡Atención! Apague Choque, oobabooga y Choque entrarán en conflicto, lo que hará que la página se inicie pero no pueda hablar con el modelo)
surgir
Ejecutándose en URL local: http://127.0.0.1:7860
Para crear un enlace público, configure share=True en launch().
Significa que el inicio es exitoso y luego, como difusión estable, visitamos 127.0.0.1:7860
Puedes ver la interfaz webui:
Utilice el modelo de Chatglm en el oobabooga anterior
Cuando volvamos a cargar el modelo de Chatglm, nos encontraremos con un error de falta de dependencias, por lo general, es icetk:
(Todavía no se pudo encontrar una imagen correspondiente)
Para arreglar esto, necesitamos instalar icetk.
Primero llegamos a la carpeta oobabooga:
Seleccione cmd_windows.bat para ejecutar
Escriba pip install icetk
Entrar para ejecutar
Espere a que se complete la instalación (si se informa un error, es posible que no haya abierto Science Internet)
Luego regrese a la carpeta oobabooga y busque el archivo webui.py:
Haga clic derecho y abra con el Bloc de notas:
Desplácese hacia abajo hasta la línea 140-180 y busque "def run_model ()"
detrás de python sever.py
Agregue --trust-remote-code
guardar y Salir
Luego vuelva a abrir oobabooga y debería poder cargar el modelo de Chatglm.
Si encuentra más preguntas, haga preguntas en el área de comentarios o envíe un mensaje privado.
6. Recorrido general por la página interactiva de oobabooga
Describiré brevemente las opciones de interfaz de oobabooga y cómo hablar y cambiar de modelo.
En la parte superior de la página, podemos ver estas pestañas.
La primera es la interfaz principal donde hablamos con el modelo.
La segunda es la interfaz de configuración y diseño de personajes/carga de roles.
El tercero es el ajuste de parámetros detallado del modelo.
La cuarta es la interfaz de cambio, carga y descarga de modelos.
La quinta es la interfaz de entrenamiento de lora.
La sexta es la pestaña webui.
Presentaré principalmente la primera interfaz principal para hablar con el modelo y la cuarta interfaz de cambio, carga y descarga del modelo.
No hablaré sobre la configuración detallada, solo use el traductor para verlo usted mismo.
Interfaz de generación de texto
Ingresamos el contenido que queremos hablar con el modelo en la entrada, y luego usamos el botón amarillo generar para hablar con el modelo. Los siguientes botones son algunos botones normales para chatear, y puede comprenderlos después de explorarlos usted mismo.
Luego está esta parte. Aquí tienes tres modos, que básicamente cambian entre diferentes modos de diálogo. En el modo de chat que se muestra aquí, después de seleccionar una persona, aparecerá el avatar correspondiente, lo que aumenta la sensación de sustitución:
Luego el siguiente estilo de chat
Esta opción depende del tipo de estilo de chat que admita su modelo. En términos generales, oobabooga elegirá automáticamente el mejor para usted.
El fondo es la galería.
Esto se usa para cargar el personaje. oobabooga viene con un rol de ejemplo:
Selecciona la carta de personaje para cargarla.
Eso es todo por la introducción de la interfaz principal para hablar con el modelo.
El siguiente es el cuarto modelo de interfaz de cambio, carga y descarga.
interfaz modelo
Seleccionamos la pestaña para llegar al modelo:
Voy a dividir para explicar en detalle:
La esquina superior izquierda es la interfaz de selección de modelo, podemos seleccionar directamente el modelo para cargar, la derecha es la interfaz lora, también podemos elegir cargar, la siguiente es la opción del modelo Transformers, puede elegir limitar la memoria tamaño ocupado por el modelo, y puede elegir el modo a usar a la derecha:
Estas son las opciones utilizadas por el modelo GPTQ. En términos generales, oobabooga seleccionará automáticamente la adecuada, pero cuando utilice un modelo más nuevo, es posible que deba seleccionar el modo correspondiente usted mismo:
Esta parte es si cargar automáticamente el modelo, es decir, si se cargará automáticamente después de seleccionar el modelo en la opción anterior.
La siguiente es la descarga automática del modelo, que es el mismo que el descargador que viene con oobabooga mencionado anteriormente.
Simplemente ingrese el nombre de huggingface en el cuadro a continuación y haga clic en descargar para descargar automáticamente el modelo:
Aquí están las fichas para el modelo llama:
Aquí están los botones para aplicar lora, cargar el modelo, recargar el modelo y guardar la configuración del modelo:
Este es el final de la introducción a la interfaz de oobabooga.
Además de las partes que introduje, oobabooga también proporciona muchos tipos de funciones diferentes. Al mismo tiempo, como la difusión estable, también admite la instalación de complementos y puede explorar por sí mismo.
También puede dejar un mensaje en el área de comentarios o un mensaje privado para discutir.
7. Por qué te recomiendo usar oobabooga-text-generation-webui
Esta parte es principalmente mi opinión subjetiva, todos la tratan como Amway.
Personalmente, estoy muy interesado en los modelos de lenguaje (principalmente porque quiero un asistente personal). Desde que openai lanzó chatgpt, comencé a prestar mucha atención a los modelos pequeños. Sin embargo, los diversos modelos en la etapa inicial tienen un umbral demasiado alto para personas como yo que no somos muy buenos programando, y no puedo ejecutar muchos modelos.
Al prestar mucha atención a los modelos pequeños, noté que los modelos pequeños extranjeros se están desarrollando muy rápido. Desde RWKV, alpaca, Vicuna, hasta Wizard, StableVicuna, la velocidad de iteración de los modelos pequeños es muy rápida, casi cada pocos días. Con el aparición de un nuevo modelo, realmente espero que más personas puedan participar en este cambio, y oobabooga-text-generation-webui es un muy buen punto de partida.
Como lanzador de modelos de lenguaje, se puede decir que oobabooga-text-generation-webui tiene la más amplia gama de soporte para modelos Al mismo tiempo, el método de carga de modelos eficiente satisface en gran medida mis necesidades para una gran cantidad de pruebas de modelos. Al mismo tiempo, la función de carga de configuración de caracteres incorporada también satisface mis necesidades de personalización.
Si, como yo, tiene un gran interés en los modelos pequeños y espera poder jugar con el modelo tan pronto como se lance, le recomiendo encarecidamente que lo use .
La segunda parte del uso del complemento y la creación de un documento humano.
1. Instalación de complementos
Buscar oobabooga en el mercado de complementos de koishi
Haga clic en Agregar para instalar
Se puede usar normalmente después de la configuración en la página de configuración del complemento:
2. oobabooga habilita el servicio api
A continuación, explicaré cómo abrir la opción api de oobabooga, para que el complemento pueda llamar al oobabooga local.
Llegamos a la carpeta oobabooga y seleccionamos webui.py
Encuentra las líneas 140-180 hacia abajo
Encuentra "def run_model ()"
detrás de python sever.py
añadir --api
Luego guarde y cierre, inicie webui normalmente
Puede ver en la pestaña Modo de interfaz:
De esta manera, el servicio de API se iniciará normalmente y su complemento debería poder llamar a oobabooga a través de la dirección URL predeterminada.
2. Tutorial de complementos
A partir del 24 de mayo, el número de versión del complemento es 1.2.0
Los complementos proporcionan una variedad de instrucciones:
Primero echemos un vistazo a la página de configuración:
apiURL se usa para completar la dirección api de su oobabooga. Si desea abrir la API de oobabooga, consulte el piso superior.
La lógica de usuario es la siguiente:
Primero, probemos el comando oob.list para ver la configuración de caracteres actual
Luego usamos el comando oob.load para cargar el conjunto de caracteres que queremos usar
Dentro de la carpeta del complemento, se creará un nuevo historial.
Entonces podemos usar oob para hablar con el modelo.
El comando oob es un comando básico, al usar el comando oob puede hablar directamente con el modelo
El historial se guardará en el archivo correspondiente en tiempo real, y el límite de historial limitará la duración del contexto, según su configuración.
Usando el comando oob.undo, puede retirar una pregunta ahora mismo
Use el comando oob.reset para restablecer el historial de la sesión actual
Use el comando oob.del para eliminar la sesión actual para cargar un nuevo avatar.
El comando oob.tag se puede usar para permitir que Ai ayude a agregar etiquetas y dibujar.
El comando oob.check es un comando de verificación que verifica si ya existe una sesión
El complemento actual ya admite apodos y @wake
4. Crea tu propio perfil
Tenga en cuenta que el documento de caracteres se lee por completo y se guarda localmente, y se borrará cada vez que se actualice el complemento, mantenga una copia de seguridad para usted.
primero llegamos a
koishi-plugin-oobabooga-testbot\lib\caracteres
debajo de la carpeta
Use el Bloc de notas para abrir cualquier archivo de perfil, encontrará que el formato de los archivos de perfil es similar.
El archivo de persona consta de dos partes:
Diseño básico de personajes + diálogo de ejemplo
Los archivos de personalidad en realidad se almacenan en forma de matrices, aquí hay un ejemplo que es más fácil de entender:
["Hola hola"]
Esto forma un conjunto de conversaciones.
Pero nuestro archivo de configuración de caracteres es un poco más complicado, como puede ver, primero le dimos una configuración de caracteres:
"Eres un modelo de lenguaje de inteligencia artificial, responderás en chino y actuarás como asistente, brindando una respuesta útil y amigable. Solo necesitas responder como asistente".
Luego, el principio y el final se agregan al ejemplo de diálogo estándar, aquí hay un ejemplo:
[“Tú: ||Hola||”,“Asistente: ||Hola||”]
Esto es para permitir que el modelo reconozca mejor cuáles son escenarios humanos y cuáles son diálogos de ejemplo. Al mismo tiempo, estandarizar el formato de devolución del modelo para facilitar nuestra tramitación posterior.
Tenga en cuenta el nombre de su archivo de perfil:
Este es el interior del conjunto de caracteres Aqua, y puede ver que el formato de conversación aquí ha cambiado a:
[“Tú: ||Hola||”,“Aqua: ||Hola||”]
Esto se debe a que el complemento reconocerá automáticamente el nombre del archivo del personaje y permitirá que el modelo desempeñe el papel, lo que puede hacer que la respuesta del modelo esté más en línea con el personaje.
Ahora que tiene una comprensión general del formato del archivo de avatar, puede intentar crear su propio avatar.
Para más discusión, envíe un mensaje privado o discuta en el área de comentarios
algo que decir
Sería increíble si puedes apegarte a este punto, puedes soportar mi tutorial largo y sin alegría. Estoy tan cansada, escribiendo una tesis, complementos y tutoriales al mismo tiempo, siento que mi cuerpo está vacío. Pero si puedes aprender algo de mi tutorial, o incluso obtener un poco de inspiración, estoy muy feliz. Espero que pueda usar oobabooga-text-generation-webui felizmente. Ahora que el modelo de lenguaje se está desarrollando rápidamente, puede seguir el ritmo de los tiempos y experimentar la conveniencia que brinda el modelo pequeño en conjunto.
——smzh Sinceramente