ControlNet es un complemento muy importante en SD y lo presentaremos en detalle a continuación.
ControlNet
ControlNet es una estructura de red neuronal que controla el modelo de difusión agregando condiciones adicionales. En pocas palabras, ControlNet es la restricción cuando Stable Diffusion genera imágenes, como restringir las poses de los personajes en las imágenes generadas.
Ejemplo de detección de bordes astutos
Flujo de trabajo: la detección de bordes extraerá el contorno de la imagen de la imagen de entrada, lo ingresará como una condición adicional además de la palabra inicial, participará en la construcción de gráficos de difusión estable y controlará la generación de gráficos.
En el ejemplo anterior, el fondo y la ropa de la imagen general se mantuvieron sin cambios y se cambió el color del cabello. Para obtener más información, consulte este artículo: Dibujo AI (7) Dibujo de difusión estable Redibujo parcial
Detección de pose humana
Openpose es un modelo rápido de detección de puntos clave humanos que puede extraer poses humanas, como la posición de las manos, las piernas y la cabeza. Para obtener más información, consulte este artículo: Dibujo AI (6) dibujo y dibujo de difusión estable
Flujo de trabajo: los puntos clave se extraen de la imagen de entrada usando OpenPose y se guardan como un mapa de control que contiene ubicaciones de puntos clave. Luego, esto se entrega a Stable Diffusion como una condición adicional junto con el texto que indica que la imagen se genera en función de estas dos condiciones.
¿Cuál es la diferencia entre usar la detección de bordes Canny y OpenPose?
El detector de bordes Canny extrae bordes similares del sujeto y el fondo. Tiende a traducir escenas. En el ejemplo anterior de dibujo de IA (7), dibujo de difusión estable redibujado parcialmente, puede ver que la dama de cabello negro se convierte en la dama pelirroja, pero el contorno y el peinado se conservan.
OpenPose sólo detecta puntos clave del cuerpo humano, como la posición de la cabeza y los brazos. La generación de imágenes es más libre, pero sigue la pose original.
Introducción al complemento ControlNet
La interfaz se muestra en la siguiente figura:
Introducción del botón relacionado:
Activar/Activar: si se debe iniciar ControlNet
Modo de memoria baja/VRAM baja: se abre cuando la memoria de video de la tarjeta gráfica no es suficiente
Pixel Perfect: ControlNet utilizará la altura y el ancho de la imagen que usted especifique en la imagen para generar la imagen preprocesada.
Permitir vista previa: si es necesario obtener una vista previa de los gráficos preprocesados
Preprocesamiento / Preprocesador: suponiendo que ingresamos una imagen normal, se procesará después del preprocesamiento. Por ejemplo, al cargar una imagen, el modelo OpenPose procesará la imagen en un mapa de pose.
Para cargar una imagen, primero seleccione [Permitir vista previa], luego seleccione el botón de explosión al lado de [Preprocesamiento/Preproesor],
El resultado preprocesado se mostrará en el cuadro de imagen de la derecha.
Modelo/Modelo: Después de seleccionar [Preprocesamiento/Preproesor], a continuación seleccionaremos [Modelo/Modelo]. ] — Correspondencia,
Por ejemplo;
Detección de pose/openpose -- control_v11p_sd15_openpose
Detección de borrador de línea/canny - control_v11p_sd15_canny
Modelo ControlNet detallado
Al elegir un modelo, encontrarás que existen muchos modelos de ControlNet, para facilitar y recuperar rápidamente las funciones que necesitamos, realizamos el siguiente mapa mental según la dimensión de funciones. La división de funciones se refiere a https://github.com/lllyasviel/ControlNet
Posar el cuerpo humano
Consulte [Establecer pose humana], que corresponde a 5 módulos de preprocesamiento para configurar la pose humana. Elegimos el modelo de preprocesamiento [openpose], la selección del modelo [control_v11p_sd15_openpose], tenga en cuenta que el modelo de preprocesamiento y el modelo tienen una correspondencia uno a uno.
inmediato:
mejor calidad , obra maestra, resolución súper alta, realista, una niña , toma amplia, cuerpo completo, cabello largo y liso y negro, grandes ojos azules, medias negras de jean blanco, mujer adulta, asiática, árbol, océano
Mensaje negativo:
manos y dedos mutados, deformados, mala anatomía, desfigurados, cara mal dibujada, mutados, extremidades adicionales, feas, manos mal dibujadas, extremidades faltantes, extremidades flotantes, extremidades desconectadas, manos malformadas, fuera de foco, cuello largo, cuerpo largo
cambiar estilo/color
Si desea cambiar el estilo o el color de la imagen actual, puede usar canny y hed, los cuales son modelos de detección de bordes, y estos dos modelos conservarán la composición general de la imagen. Retiene más detalles que astutos, depende de las preferencias personales.
El modelo de preprocesamiento [detección de borrador de línea/canny] se utiliza junto con el modelo [control_v11p _sd15_canny]
El modelo de preprocesamiento [softedge_hed] se utiliza con el modelo [control_v11p_sd15_softedge]
Se puede ver que conserva más detalles que astutos. El uso específico depende de la situación individual.
epílogo
Entonces, hoy lo presentamos aquí. Los amigos interesados pueden seguirnos, continuaremos actualizando esta serie de tutoriales.
Si crees que es bueno y útil para ti, puedes seguirme y se lanzará más contenido en el futuro. También puedes unirte a nuestro planeta, prestar atención a la cuenta oficial, responder a "planeta" y obtener el código de invitación. , y puedes unirte. Si no sabes qué es nuestro planeta, puedes leer este artículo, que tiene una introducción detallada.
Potenciar las herramientas de IA para lograr una monetización eficiente y dejar el trabajo temprano
Estoy discutiendo temas interesantes con mis amigos en "AI High Efficiency [Trabajo, Estudio]", ¿por qué no se reúnen?
https://t.zsxq.com/11KVfN0RChttps://t.zsxq.com/11KVfN0RCLa cuenta pública @AI宅player No. 2 es un practicante obsesionado que depende de la IA para estudiar y trabajar. Hay más de 20.000 fanáticos en toda la red y la IA con la que Xiaobai también puede jugar se actualiza continuamente, lo que te permite salir del trabajo 2 horas antes.
Qué hay en el planeta:
columna de competencia electrónica, columna de aprendizaje profundo, columna de aprendizaje asistido por IA, columna de monetización de herramientas de IA, etc.Adecuado para la multitud:
Estudiantes en la escuela: espero que mi experiencia pueda ayudarlos a resolver los problemas que encuentren.
Desarrolladores: compartan su propia experiencia y podrán ampliar su camino y aprender más.
Espero ganar dinero con trabajos secundarios: usamos IA La forma de retirar dinero puede ayudarle a ganar dinero con negocios secundarios
De hecho, los estándares rígidos no pueden limitarnos con infinitas posibilidades, así que ¡ah! ¡Vamos chicos!