Recientemente, he realizado algunas investigaciones sobre modelos grandes, y hay un flujo constante de materiales y modelos de código abierto. Por la presente registro y actualizo la situación actual.
llama
- Tamaño: 7B-130B
- Colaboradores: Meta
El modelo llama es de código abierto, pero se debe enviar una solicitud. Hay modelos de conversión hf publicados por los contribuyentes en la cara abrazada (como discusión académica, los intereses comerciales se ignoran temporalmente, lo mismo a continuación).
Además de esto, Stanford utilizó por primera vez el corpus de 52k producido por autoaprendizaje, y utilizó la tecnología lora para afinar y abrir la alpaca de código abierto.Basado en esta experiencia, aparecieron una serie de modelos de alpaca, como luotuo, camel bell, etc. . Este también es un modelo de código abierto que creo que tiene una mejor ecología.
floración
- Tamaño: 7B-176B
- Colaborador: bigsience
Lianjia Technology tiene BELLE de código abierto para instrucciones de ajuste fino basadas en bloom y también algunos conjuntos de datos chinos de código abierto.
GLM
- Tamaño: 6B-130B
- Colaborador: Universidad de Tsinghua
Código abierto, el modelo de lenguaje de diálogo ChatGLM-6B que admite bilingües en chino e inglés , y el modelo base GLM
En términos de diálogo chino y aplicaciones posteriores, a partir de la versión 3.31, es el mejor modelo de chat que he probado hasta ahora. Basado en chatglm-6B, muchas personas han contribuido con muchos ajustes y código de aplicación, como:
- ChatGLM-Tuning : ajuste fino de ChatGLM-6B basado en LoRA. Proyectos similares también incluyen Humanable ChatGLM/GPT Fine-tuning | ChatGLM Fine-tuning
- langchain-ChatGLM : aplicación ChatGLM basada en el conocimiento local, basada en LangChain
- ChatGLM-Finetuning : basado en el modelo ChatGLM-6B, ajuste las tareas específicas posteriores, que involucran Freeze, Lora, P-tuning, etc., y compare los resultados experimentales.
- InstructGLM : Basado en ChatGLM-6B para el aprendizaje de instrucciones, resuma los datos de instrucciones en chino e inglés de código abierto, ajuste los datos de instrucciones basados en Lora, abra los pesos de Lora después de los ajustes de Alpaca y Belle, y solucione el problema de repetición web_demo.
En la actualidad el autor hace referencia al primer enlace para afinar chatglm-6b basado en lora para tareas de extracción de información
- Probé una sola instrucción (un tipo de aviso para cada conjunto de datos), la cantidad de datos es de más de 3000 y el efecto de verificación de NER es de 60 a 80. Al mismo tiempo, según el modelo de ajuste fino para prueba la habilidad general original, se encuentra que hay un fenómeno de olvido histórico, Habilidades generales realizadas peor que la versión original.
- Basado en chatgpt y 100 instrucciones de extracción de información diferentes producidas artificialmente (solo para NER), se encontró que el efecto de extracción mejoró ligeramente pero el efecto no fue significativo (basado en más de diez pruebas subjetivas), pero la habilidad general fue mucho mejor que el experimento anterior Casi al mismo nivel que la versión original.
- Ajuste fino de chatglm-6B basado en el conjunto de datos de 52k de gpt4 y descubrió que no hay muchos cambios antes y después del ajuste fino Adivina a ciegas, ¿tal vez chatglm también ha usado el corpus chino traducido por alpaca para ajustar?
tokenizar chino
Cuente aproximadamente el vocabulario de los tres modelos preentrenados de acuerdo con las siguientes categorías, por lo que chatglm tiene un buen efecto de apoyo en chino, también puede saber un poco mirando el vocabulario.
| Modelo | Inglés | Chino | puntuación | otro | total |
|---|---|---|---|---|---|
| llama-7b-hf | 24120 | 700 | 1167 | 5990 | 31977 |
| Bella-7B-2M | 89974 | 28585 | 1827 | 130223 | 250609 |
| chatglm-6b | 63775 | 61345 | 1469 | 3660 | 130249 |
Bienvenido al intercambio
- ¿Cuándo puede el modelo chino abrir código fuente algunos útiles?
- Experiencia e intercambio basado en transferencia de dominio, extracción de información
- demás