AI Painting: StableDiffusion Alchemy Lora Raiders - Actual Combat Cute Pet Picture Generation

palabras escritas delante

Recientemente, encontré muchas fotos extremadamente lindas y hermosas de lindas mascotas en Xiaohongshu, y estoy profundamente fascinado por estas maravillosas imágenes.

Así que pensé en usar AI para pintar StableDiffusion (en lo sucesivo, SD).

El siguiente es todo el proceso de operación práctica detallada, incluidos todos los materiales utilizados que se han empaquetado en el disco de red.

El resultado final del último intento es el siguiente:

Para obtener más imágenes, consulte el disco de red:

"Imágenes lindas de mascotas y palabras clave"

Enlace: https://pan.quark.cn/s/ba9c3e8ef92a

Si desea obtener más información sobre StableDiffusion, consulte:

AI Painting: Stable Diffusion Ultimate Alchemy Book: De principiante a maestro

El enlace original es más cómodo de leer: AI Painting: StableDiffusion Alchemy Lora Raiders - Actual Combat Cute Pet Picture Generation

uno: preparar

La información requerida está empaquetada en el disco de red y puede descargarla usted mismo si la necesita.

Compartí la "información de alquimia de difusión estable" usando el disco de red de quark

Enlace de disco de red: https://pan.quark.cn/s/3c8cc96f3221

2. El papel de Lora

LORA nos permite dibujar fácilmente personajes específicos, objetos, trazos especiales y un estilo o estilo especial, que pertenece a un subconjunto de entrenamiento especial.

1. Modelo de IA

Cree un modelo propio, deje que este modelo use sus propios productos

2. Ropa refinada Lora

Agrega una Lora de ropa, puedes hacer que el personaje use ropa específica

3. Cambiar el estilo de pintura/fondo de pantalla

Cambia el estilo de la foto agregando a Lora, este estilo lo puedes entrenar tú mismo

¿Qué es exactamente el modelo Lora?

explicacion profesional

El nombre completo de LoRA es LoRA: Adaptación de bajo rango de modelos de lenguaje grande , que puede entenderse como un complemento para el modelo de difusión estable (SD).Al igual que la hiperred y controlNet, utiliza una pequeña cantidad de datos sin modificando el modelo SD Los datos entrenan un estilo de pintura/IP/carácter para satisfacer necesidades personalizadas, y los recursos de entrenamiento requeridos son mucho más pequeños que entrenar modelos SD, que es muy adecuado para usuarios de la comunidad y desarrolladores individuales. LoRA se aplicó originalmente en el campo de la PNL para perfeccionar modelos como GPT-3 (es decir, el predecesor de ChatGPT). Dado que la cantidad de parámetros GPT supera los 100 000 millones y el costo de capacitación es demasiado alto, LoRA adopta un método de capacitación únicamente de matrices de rango bajo (matrices de rango bajo) e inyecta los parámetros del modelo LoRA en el modelo SD cuando se usa, de ese modo cambiar el modelo SD Generar estilos o agregar nuevos personajes/IPs a los modelos SD.

explicación popular

Lora puede reproducir las características de personajes y objetos, arreglar los movimientos de los personajes y cambiar el estilo de las fotos.

Y Lora se puede entrenar con solo una pequeña cantidad de datos, lo cual es mucho más simple que entrenar un modelo grande.

Para que puedas hacer dibujos personalizados entrenando a tu propia Lora

Pero tengo que decir que el Lora actual no puede ser 100% igual, sobre todo en cuanto a detalles.

Pero creo que con el desarrollo tecnológico posterior, la era de Lora no está muy lejos.

3. ¿Cómo refinar tu propio modelo Lora?

Hay muchas formas de refinar a Lora.

Hay guiones para la formación y algo de formación en la interfaz del sitio web Recientemente, muchos amigos han creado un paquete de integración para la formación de Lora.

Hay muchas maneras de crear un modelo de Lora, incluida la capacitación a través de scripts, la operación a través de una interfaz web e incluso algunos profesionales han proporcionado recientemente un paquete de integración con un solo clic para la capacitación de Lora. Aunque estos métodos parecen diferentes en la superficie, su lógica de entrenamiento es en realidad la misma.

Por lo tanto, podemos optar por utilizar el paquete de integración. La ventaja del paquete de integración es que integra todas las herramientas y los pasos necesarios para la alquimia en una sola pieza de software, brindándonos un método de entrenamiento más conveniente y efectivo.

El paquete de integración es para integrar todas las herramientas necesarias para la alquimia en un solo software

La alquimia se divide en los siguientes pasos:

1. Descarga el paquete de integración

2. Preparativos

3. Empieza a entrenar

4. Prueba Lora

5. Optimiza Lora

4. Preparativos antes de la alquimia ( descargar paquete de integración )

Antes de refinar Lora, debe confirmar la configuración de su computadora:

1. La configuración de la computadora requiere una tarjeta N y una memoria de 6G o más

2. Se recomienda una tarjeta y un sistema Mac, o un socio pequeño con una configuración de computadora deficiente para usar la plataforma en la nube

Lo que uso aquí es el paquete de integración de Juni Jiang, el maestro de la estación B:

Compartí la "información de alquimia de difusión estable" usando el disco de red de quark

Enlace de disco de red: https://pan.quark.cn/s/3c8cc96f3221

Después de descargarlo, descomprímalo en la unidad D o E, ¡no en la unidad C! !

También traté de hacer Lora con el paquete de integración de Qiuye.Después de comparar los dos, creo que el paquete de integración de Junijiang es más adecuado para Xiaobai.

Abra la carpeta después de la descompresión y busque la aplicación "Cyberdan Furnace" en la carpeta "cfurnace_ui".

Puede crear un acceso directo en el escritorio para no tener que abrir el archivo cada vez

Una vez que vea esta página, puede instalarla. ¡Haga clic en "Iniciar Alchemy Furnace" para comenzar a refinar a Lora!

5. Seleccione el modelo grande apropiado

Al igual que hacer un dibujo, antes de refinar a Lora, primero debes elegir un modelo grande para determinar el estilo de pintura de Lora.

La linda mascota entrenada aquí, elegí el modelo grande "cheeseDaddys_35"

Modelo de la vida real = "Elija el modelo grande de "chilloutmix"

Elemento bidimensional = "seleccione el modelo grande de "cualquier cosa"

Si no hay un modelo en su difusión estable, ¡primero debe descargar el modelo!

Estos dos grandes modelos se han colocado en el disco de la red para todos.

Compartí "2. Punto de control de modelo grande" con el disco de red de quark

Enlace: https://pan.quark.cn/s/9767ac274f83

Más abajo, puedes elegir un tipo de Lora que queremos entrenar

Después de la selección, nos ayudará a elegir los parámetros predeterminados.

Elige "Personaje" para entrenar a Lora real

Elija "bidimensional" para entrenar en dos dimensiones

Si desea refinar el estilo de pintura, puede elegir el estilo de pintura

Además, también puede personalizar para refinar dibujos de diseño gráfico o edificios, etc.

Elijo el producto aquí

6. Producción de materiales de alta calidad.

Después de establecer los preparativos y parámetros anteriores, puede comenzar a cargar sus propios materiales y comenzar a entrenar.

Estos materiales son los materiales que queremos alimentar a la IA para que aprenda

¡La calidad del material es muy importante! ! Afectará directamente a la calidad de la Lora final

Nuestro material necesita cumplir con varios puntos:

1. Sube 20~30 fotos

2. ¡Los materiales deben ser de alta definición! ! !

3. Fotos multiángulo

Aquí tomaré como ejemplo a la linda mascota Lora y subiré fotos de lindas mascotas.

Haga clic en "Eliminar todo" para eliminar el material predeterminado

Luego haga clic en "Subir material" para subir sus propias fotos

En circunstancias normales, los siguientes parámetros están bien por defecto.

Si necesita ajustar los parámetros, es mejor comprender el significado de los parámetros. Si los ajusta indiscriminadamente, el entrenamiento puede fallar.

No elija una resolución demasiado alta, es fácil reventar la memoria de video

Además, si entrena a una Lora real, puede consultar el "Entrenamiento de fortalecimiento facial" en el extremo derecho

Después de verificarlo, se recortará un grupo de fotos con solo caras, para que la IA pueda aprender más detalles faciales.

7. El proceso de entrenamiento de esperar pacientemente

Ver esta página significa que el modelo está siendo entrenado

En este punto, solo espera pacientemente , no hay nada que hacer.

Podemos ver lo que significan los siguientes parámetros

"Pasos" es el número de pasos de entrenamiento

Aparecerá una imagen en la esquina inferior derecha cada 50 pasos de entrenamiento

De esa manera puedes ver cómo se ve Lora en tiempo real.

Este pelo blanco y falda roja son palabras clave añadidas en segundo plano.

Puede probar la generalización de Lora

La generalización es para ver si esta Lora puede cambiar libremente las cosas en la foto, como el peinado, el color del cabello, la ropa, etc.

La pérdida se puede utilizar para referirse a la calidad del modelo.

Un buen modelo El valor de pérdida está entre 0,07 y 0,09

Nota: Si es bueno o no depende de la prueba real en Difusión estable

Una vez completada la formación, haga clic en "Modelo"

Puedes ver el modelo generado.

Según el entrenamiento de parámetros por defecto saldrán 20 modelos, pero no quiere decir que el último modelo sea el mejor

Es posible refinar al decimosexto o decimoséptimo modelo es suficiente, y el modelo posterior ya está sobreentrenado

Entonces estos modelos hay que probarlos en SD para saber cual es el mejor

8. Cómo probar la calidad de Lora

Después de generar el modelo, puede ir a SD para generar imágenes

Se puede generar una imagen tan grande en SD, y puede ver directamente el efecto de todos los modelos con diferentes pesos

Compare qué modelo es mejor, solo quédese con ese modelo

A continuación, veamos cómo generar este panorama general.

Primero copie los 10 modelos recién generados a la carpeta de modelos de SD y colóquelos en la carpeta Lora

Nota: Lo mejor es crear una nueva carpeta, como cuteDog

Luego cambie el nombre de Lora sin código de número de serie

Lora sin codificación de número de serie es el último modelo generado, aquí está solo por conveniencia de prueba, unifica los nombres de todos los modelos

Después de guardar el modelo, puede abrir SD para probar

Primero elige un modelo grande

Elige qué modelo grande usas para entrenar a lora

Luego ingrese palabras clave positivas y palabras clave negativas

Para palabras clave positivas, puede ingresar algunas palabras de calidad, como la más alta calidad, calidad de imagen de alta definición, obra maestra, etc.

Las palabras clave negativas pueden copiar directamente lo que hemos usado antes

El siguiente paso es elegir la Lora que acabamos de hacer.

Puedes elegir cualquiera

Aquí viene el punto importante: reemplace 000017 con NUM y 1 con STRENGTH

<lora:lindo perro_20230708214731-000017:1>

Por ejemplo:

<lora:lindo perro_20230708214731-NUM:FUERZA>

El número de pasos de iteración y el método de muestreo se pueden modificar según sus propios hábitos.

Luego, desplácese hasta la parte inferior y busque "Scripts"

Seleccione " Gráfico X/Y/Z " en el script

Seleccione " búsqueda/reemplazo de palabra rápida " para el eje X y el tipo de eje Y

Entrada de valor del eje X: NUM, 000001, 000002, 000003, 000004, 000005, 000006, 000007, 000008, 000009, 000010

El número de serie aquí corresponde al número de nuestro 10 Lora

Entrada de valor del eje Y: FUERZA, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1

El número de serie aquí representa el peso de Lora

Después de configurar todos los parámetros, puede hacer clic en "Generar"

La imagen generada es tan grande que puede ver el rendimiento de estos modelos Lora bajo diferentes intensidades.

9. Cómo optimizar Lora

De hecho, la alquimia es algo relativamente metafísico.

Algunas personas pueden refinar su propia Lora satisfecha de una sola vez.

Pero algunas personas pueden tener que practicar varias veces para obtener una buena Lora.

En este momento, podemos ajustar los parámetros de entrenamiento y refinar uno nuevo.

¡La premisa es garantizar que los materiales que alimentamos a la IA sean de alta calidad!

De lo contrario, no importa cómo modifique los parámetros, el Lora resultante no estará calificado.

Aquí dividimos los problemas encontrados en la refinación de Lora en dos situaciones

1. Las fotos de Lora no se parecen a mí: la IA no aprendió bien

2. Lora se ajusta demasiado y hasta las fotos que salieron colapsaron: la IA ha aprendido demasiado

El sobreajuste significa que no importa qué palabras clave ingrese, las fotos que salen son todas las fotos que alimenta a AI

No hay forma de controlar libremente la ropa, el peinado, el color del cabello, etc. del personaje.

Haga clic en "Ajuste de parámetros" y podemos configurar los parámetros por nosotros mismos

Si la foto generada no se parece a la suya, puede aumentar el valor de Repetir (número de pasos de aprendizaje) de forma adecuada

Si la foto está sobreajustada, reduzca el valor Repetir

No se pueden ajustar otros parámetros, porque los parámetros predeterminados son casi el valor óptimo

10. Resumen de descarga de recursos

Resumen de los recursos del disco de red de alquimia de Lora: https://pan.quark.cn/s/3c8cc96f3221

Paquete de instalación de integración de recursos StableDiffusion: https://pan.quark.cn/s/2750beda9269

Consulta de clasificación de palabras clave de StableDiffusion: consulta de clasificación de palabras clave de StableDiffusion

Resumen de datos de ControlNet: https://pan.quark.cn/s/47bc8c79892a

Resumen del disco de red de datos AI (actualizado periódicamente): resumen de los recursos del disco de red en la zona AI

Resumen de los tutoriales de AIGC desde el inicio hasta el dominio: Resumen de los tutoriales de AIGC desde el inicio hasta el dominio

El enlace original es más cómodo de leer: AI Painting: StableDiffusion Alchemy Lora Raiders - Actual Combat Cute Pet Picture Generation