La capacidad de los modelos de difusión para generar imágenes realistas basadas en señales textuales ha contribuido a la popularización de la inteligencia artificial generativa. La gente ha comenzado a usar estos modelos en varios dominios de aplicaciones, incluida la síntesis de datos y la creación de contenido. Hugging Face Hub contiene más de 5000 modelos de gráficos de Vinsen previamente entrenados. Estos modelos, combinados con la biblioteca Difusores, hacen que la creación de flujos de trabajo de generación de imágenes o la experimentación con diferentes flujos de trabajo de generación de imágenes sean increíblemente fáciles.
Al igual que los modelos de transformadores, puede ajustar los modelos de difusión para que generen contenido que se adapte mejor a sus necesidades comerciales específicas. Al principio, solo podía ajustar con precisión la GPU, ¡pero las cosas están cambiando! Hace unos meses, Intel lanzó sus CPU Xeon de cuarta generación, cuyo nombre en código es Sapphire Rapids. Sapphire Rapids incluye Advanced Matrix eXtension (AMX) de Intel, un nuevo acelerador de hardware para cargas de trabajo de aprendizaje profundo. En varias publicaciones de blog anteriores, hemos mostrado las ventajas de AMX: ajuste fino de modelos de transformadores NLP , inferencia en modelos de transformadores NLP e inferencia en modelos de difusión estable .
Este artículo mostrará cómo ajustar el modelo de difusión estable en un clúster de CPU Intel Xeon de cuarta generación. Lo que usamos para el ajuste fino es la técnica de inversión textual, que requiere solo una pequeña cantidad de muestras de entrenamiento para ajustar el modelo de manera efectiva. ¡En este artículo, lo haremos bien con 5 muestras!
Dejanos empezar.
Configurar el clúster
Los pequeños socios de Intel nos proporcionaron 4 servidores alojados en Intel Developer Cloud (Intel Developer Cloud, IDC). Como plataforma de servicios en la nube, IDC proporciona un entorno de implementación profundamente optimizado por Intel e integra los últimos procesadores Intel y pilas de software de rendimiento óptimo. Los usuarios pueden desarrollar y ejecutar fácilmente sus cargas de trabajo en este entorno.
Cada servidor que obtuvimos estaba equipado con dos CPU Intel Xeon de cuarta generación, cada una con 56 núcleos físicos y 112 subprocesos. Aquí está su lscpusalida:
Architecture: x86_64
CPU op-mode(s): 32-bit, 64-bit
Address sizes: 52 bits physical, 57 bits virtual
Byte Order: Little Endian
CPU(s): 224
On-line CPU(s) list: 0-223
Vendor ID: GenuineIntel
Model name: Intel(R) Xeon(R) Platinum 8480+
CPU family: 6
Model: 143
Thread(s) per core: 2
Core(s) per socket: 56
Socket(s): 2
Stepping: 8
CPU max MHz: 3800.0000
CPU min MHz: 800.0000
BogoMIPS: 4000.00
Flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush dts acpi mmx fxsr sse sse2 ss ht tm pbe syscall nx pdpe1gb rdtscp lm constant_tsc art arch_per fmon pebs bts rep_good nopl xtopology nonstop_tsc cpuid aperfmperf tsc_known_freq pni pclmulqdq dtes64 monitor ds_cpl vmx smx est tm2 ssse3 sdbg fma cx16 xtpr pdcm pcid dca sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_timer aes xsave avx f16c rdrand lahf_lm abm 3dnowprefetch cpuid_fault epb cat_l3 cat_l2 cdp_l3 invpcid_single intel_ppin cdp_l2 ssbd mba ibrs ibpb stibp ibrs_enhanced tpr_shadow vnmi flexpriority ept vpid ept_ad fsgsbase tsc_adjust bmi1 avx2 smep bmi2 erms invpcid cqm rdt_a avx512f avx512dq rdseed adx smap avx512ifma clflushopt clwb intel_pt avx512cd sha_ni avx512bw avx512vl xsaveopt xsavec xgetbv1 xsaves cqm_llc cqm_occup_llc cqm_mbm_total cqm_mbm_local split_lock_detect avx_vnni avx512_bf16 wbnoinvd dtherm ida arat pln pts hwp hwp_act_window hwp_epp hwp_pkg_req avx512vbmi umip pku ospke waitpkg avx512_vbmi2 gfni vaes vpclmulqdq avx512_vnni avx512_bitalg tme avx512_vpopcntdq la57 rdpid bus_lock_detect cldemote movdiri movdir64b enqcmd fsrm md_clear serialize tsxldtrk pconfig arch_lbr amx_bf16 avx512_fp16 amx_tile amx_int8 flush_l1d arch_capabilitiesEscribimos las direcciones IP de los cuatro servidores nodefileen el archivo, donde la primera línea es el servidor principal.
cat << EOF > nodefile
192.168.20.2
192.168.21.2
192.168.22.2
192.168.23.2
EOFEl entrenamiento distribuido requiere sshcomunicación sin contraseña entre el nodo maestro y otros nodos. Si no está muy familiarizado con esto, puede consultar este artículo y seguirlo paso a paso para configurar sin contraseña ssh.
A continuación, configuramos el entorno operativo e instalamos el software necesario en cada nodo. En particular, instalamos dos bibliotecas optimizadas por Intel: una CCL para administrar comunicaciones distribuidas y la Extensión Intel para PyTorch (IPEX), que incluye optimizaciones de software para aprovechar al máximo la aceleración de hardware en Sapphire Rapids. También instalamos libtcmalloc, que es una biblioteca de asignación de memoria de alto rendimiento, y sus dependencias de software gperftools.
conda create -n diffuser python==3.9
conda activate diffuser
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu
pip3 install transformers accelerate==0.19.0
pip3 install oneccl_bind_pt -f https://developer.intel.com/ipex-whl-stable-cpu
pip3 install intel_extension_for_pytorch
conda install gperftools -c conda-forge -yA continuación, clonamos el repositorio de difusores en cada nodo y lo instalamos desde la fuente.
git clone https://github.com/huggingface/diffusers.git
cd diffusers
pip install .A continuación, necesitamos usar IPEX diffusers/examples/textual_inversionpara realizar algunas optimizaciones en el script de ajuste fino para incluir las optimizaciones de IPEX para diffusersmodelos de inferencia. La optimización de inferencia de sus submodelos no se puede realizar en la biblioteca, pero solo se puede realizar en el código del script. Y el ajuste fino del modelo Clip-Text se puede realizar mediante ). Importamos IPEX y optimizamos para inferencia en U-Net y modelos de codificador automático variacional (VAE). Finalmente, no olvide que este cambio debe realizarse en el código de cada nodo.pipelinepipelineaccelerateaccelerate
diff --git a/examples/textual_inversion/textual_inversion.py b/examples/textual_inversion/textual_inversion.py
index 4a193abc..91c2edd1 100644
--- a/examples/textual_inversion/textual_inversion.py
+++ b/examples/textual_inversion/textual_inversion.py
@@ -765,6 +765,10 @@ def main():
unet.to(accelerator.device, dtype=weight_dtype)
vae.to(accelerator.device, dtype=weight_dtype)
+ import intel_extension_for_pytorch as ipex
+ unet = ipex.optimize(unet, dtype=weight_dtype)
+ vae = ipex.optimize(vae, dtype=weight_dtype)
+
# We need to recalculate our total training steps as the size of the training dataloader may have changed.
num_update_steps_per_epoch = math.ceil(len(train_dataloader) / args.gradient_accumulation_steps)
if overrode_max_train_steps:El paso final es descargar las imágenes de entrenamiento. Normalmente usaríamos una carpeta NFS compartida, pero aquí elegimos descargar la imagen en cada nodo por simplicidad. Asegúrese de que el directorio para las imágenes de entrenamiento tenga la misma ruta ( ) en todos los nodos /home/devcloud/dicoo.
mkdir /home/devcloud/dicoo
cd /home/devcloud/dicoo
wget https://huggingface.co/sd-concepts-library/dicoo/resolve/main/concept_images/0.jpeg
wget https://huggingface.co/sd-concepts-library/dicoo/resolve/main/concept_images/1.jpeg
wget https://huggingface.co/sd-concepts-library/dicoo/resolve/main/concept_images/2.jpeg
wget https://huggingface.co/sd-concepts-library/dicoo/resolve/main/concept_images/3.jpeg
wget https://huggingface.co/sd-concepts-library/dicoo/resolve/main/concept_images/4.jpegLas imágenes de entrenamiento que utilizamos se muestran a continuación:
En este punto, la configuración del sistema está completa. A continuación, comenzamos a configurar la tarea de entrenamiento.
Configurar el entorno de ajuste fino
Utilice la biblioteca de aceleración para facilitar el entrenamiento distribuido. Necesitamos ejecutar en cada nodo acclerate configy responder algunas preguntas simples.
A continuación se muestra una captura de pantalla del nodo maestro. En los otros nodos, debe rankconfigurar 1, 2 y 3, y dejar las otras respuestas igual.
Finalmente, necesitamos establecer algunas variables de entorno en el nodo maestro. Estas variables de entorno se propagan a otros nodos cuando comienza la tarea de ajuste. La primera línea establece el nombre de la interfaz de red conectada a la red local en la que se ejecutan todos los nodos. Es posible que deba usar ifconfigpara establecer el nombre de la interfaz de red que más le convenga.
export I_MPI_HYDRA_IFACE=ens786f1
oneccl_bindings_for_pytorch_path=$(python -c "from oneccl_bindings_for_pytorch import cwd; print(cwd)")
source $oneccl_bindings_for_pytorch_path/env/setvars.sh
export LD_PRELOAD=${LD_PRELOAD}:${CONDA_PREFIX}/lib/libiomp5.so
export LD_PRELOAD=${LD_PRELOAD}:${CONDA_PREFIX}/lib/libtcmalloc.so
export CCL_ATL_TRANSPORT=ofi
export CCL_WORKER_COUNT=1
export MODEL_NAME="runwayml/stable-diffusion-v1-5"
export DATA_DIR="/home/devcloud/dicoo"Bien, ahora podemos comenzar a afinar.
Afinando el modelo
Comenzamos mpiruna ajustar con , que nodefileconfigura automáticamente la comunicación distribuida entre los nodos enumerados en . Aquí, ejecutamos 16 procesos ( -n), con 4 procesos ejecutándose en cada nodo ( -ppn). AccelerateLa biblioteca configura automáticamente la formación distribuida en todos los procesos.
Iniciamos el comando a continuación para entrenar 200 pasos, solo toma alrededor de 5 minutos .
mpirun -f nodefile -n 16 -ppn 4 \
accelerate launch diffusers/examples/textual_inversion/textual_inversion.py \
--pretrained_model_name_or_path=$MODEL_NAME --train_data_dir=$DATA_DIR \
--learnable_property="object" --placeholder_token="<dicoo>" --initializer_token="toy" \
--resolution=512 --train_batch_size=1 --seed=7 --gradient_accumulation_steps=1 \
--max_train_steps=200 --learning_rate=2.0e-03 --scale_lr --lr_scheduler="constant" \
--lr_warmup_steps=0 --output_dir=./textual_inversion_output --mixed_precision bf16 \
--save_as_full_pipelineLa siguiente captura de pantalla muestra el estado del clúster durante el entrenamiento:
solución de problemas
El entrenamiento distribuido a veces puede ser complicado, especialmente si es nuevo en esto. Los problemas más probables son pequeños errores de configuración en un solo nodo: dependencias faltantes, imágenes almacenadas en diferentes ubicaciones, etc.
Puede iniciar sesión en cada nodo y capacitarse localmente para localizar problemas rápidamente. Primero, configure el mismo entorno que el nodo maestro, luego ejecute:
python diffusers/examples/textual_inversion/textual_inversion.py \
--pretrained_model_name_or_path=$MODEL_NAME --train_data_dir=$DATA_DIR \
--learnable_property="object" --placeholder_token="<dicoo>" --initializer_token="toy" \
--resolution=512 --train_batch_size=1 --seed=7 --gradient_accumulation_steps=1 \
--max_train_steps=200 --learning_rate=2.0e-03 --scale_lr --lr_scheduler="constant" \
--lr_warmup_steps=0 --output_dir=./textual_inversion_output --mixed_precision bf16 \
--save_as_full_pipelineSi el entrenamiento comienza con éxito, deténgalo y continúe con el siguiente nodo. Si el entrenamiento se inicia con éxito en todos los nodos, regrese al nodo principal y verifique cuidadosamente si hay algún problema nodefilecon el entorno y mpirunlos comandos. No te preocupes, eventualmente encontrarás el problema :).
Genere imágenes utilizando el modelo ajustado
Después de 5 minutos de entrenamiento, el modelo entrenado se guarda localmente y podemos usar directamente para diffuserscargar pipelineel modelo y generar imágenes. Pero aquí, vamos a utilizar Optimum Intel y OpenVINO para optimizar aún más el modelo para la inferencia. Como se discutió en el artículo anterior , ¡optimizado para permitirle generar una imagen en menos de 5 segundos en una sola CPU!
pip install optimum[openvino]Usamos el siguiente código para cargar el modelo, optimizarlo para una forma de salida fija y finalmente guardar el modelo optimizado:
from optimum.intel.openvino import OVStableDiffusionPipeline
model_id = "./textual_inversion_output"
ov_pipe = OVStableDiffusionPipeline.from_pretrained(model_id, export=True)
ov_pipe.reshape(batch_size=5, height=512, width=512, num_images_per_prompt=1)
ov_pipe.save_pretrained("./textual_inversion_output_ov")Luego, cargamos el modelo optimizado, generamos 5 imágenes diferentes y las guardamos:
from optimum.intel.openvino import OVStableDiffusionPipeline
model_id = "./textual_inversion_output_ov"
ov_pipe = OVStableDiffusionPipeline.from_pretrained(model_id, num_inference_steps=20)
prompt = ["a yellow <dicoo> robot at the beach, high quality"]*5
images = ov_pipe(prompt).images
print(images)
for idx,img in enumerate(images):
img.save(f"image{idx}.png")A continuación se muestra la imagen que produce. Sorprendentemente, ¡solo se necesitaron cinco imágenes para que la modelo supiera dicooque llevaba gafas!
También puede ajustar más el modelo para obtener mejores resultados. A continuación se muestra una imagen generada por un modelo ajustado para pasos de 3k (alrededor de una hora), que funciona bastante bien.
Resumir
Gracias a la profunda cooperación entre Hugging Face e Intel, ahora puede usar servidores de CPU Xeon para generar imágenes de alta calidad que satisfagan sus necesidades comerciales. Si bien las CPU son generalmente más baratas y están más disponibles que el hardware especializado como las GPU, las CPU Xeon también son generalistas que se pueden usar fácilmente para otras tareas productivas, como servidores web, bases de datos y más. Como tal, las CPU son una opción lógica para una infraestructura de TI flexible y con todas las funciones.
Los siguientes recursos están disponibles para comenzar y se pueden usar según sea necesario:
Documentación de difusores
Documentación óptima de Intel
Intel IPEX en GitHub
Recursos para desarrolladores de Intel y Hugging Face
Instancias de CPU Xeon de cuarta generación en IDC, AWS, GCP y Alibaba Cloud
Si tiene alguna pregunta o comentario, no dude en dejar un mensaje en el foro Hugging Face.
¡Gracias por leer!
Inglés original: https://hf.co/blog/stable-diffusion-finetuning-intel
Autor: Julien Simón
Traductor: Matrix Yao (Yao Weifeng), un ingeniero de aprendizaje profundo de Intel, trabaja en la aplicación de modelos de familias de transformadores en varios datos modales y en el entrenamiento y razonamiento de modelos a gran escala.
Corrección de pruebas/composición tipográfica: zhongdongy (阿东)