AnimateDiff kann mit einem Klick entsprechende Animationen für die von jedem Modell generierten Bilder generieren.
Konfigurationsanforderungen
Es wird empfohlen, dass der GPU-Speicher mindestens 12 GB groß sein sollte. Bei Xformers- oder SDP-Optimierung sollte der Speicherbedarf mindestens 6 GB betragen.
Um die SDP-Optimierung zu aktivieren, fügen Sie --sdp-no-mem-attention zu den Startparametern hinzu.
Die tatsächliche Nutzung des Videospeichers hängt von der Bildgröße (Stapelgröße) und der Kontext-Stapelgröße (Kontext-Stapelgröße) ab. Sie können versuchen, die Bildgröße oder die Kontextstapelgröße zu reduzieren, um die Videospeichernutzung zu reduzieren.
WebUI-Version: v1.6.0
ControlNet-Version: v1.1.410
Bewegungsmodell herunterladen
https://huggingface.co/guoyww/animatediff
https://huggingface.co/guoyww/animatediff Das Hauptmodell wird im Verzeichnis „stable-diffusion-webui/extensions/sd-webui-animatediff/model/“ abgelegt. Wenn Sie ein anderes Verzeichnis zum Speichern der Modellgewichte verwenden möchten, konfigurieren Sie es bitte unter „Settings/AnimateDiff“.
- mm_sd_v15_v2.ckpt
Normale Platzierung und Nutzung von Sport-Lora
- v2_lora_PanLeft.ckpt Nach links bewegen
- v2_lora_PanRight.ckpt Nach rechts bewegen
- v2_lora_RollingAnticlock.ckpt Gegen den Uhrzeigersinn
- v2_lora_RollingClockwise.ckpt im Uhrzeigersinn
- v2_lora_TiltDown.ckpt Nach unten kippen
- v2_lora_TiltUp.ckpt Nach oben neigen
- v2_lora_ZoomIn.ckpt Vergrößern
- v2_lora_ZoomOut.ckpt Verkleinern
Installieren Sie das AnimateDiff-Plugin
Plug-in-Adresse:
https://github.com/continue-revolution/sd-webui-animatediff1. Aktivieren Sie unter „Einstellungen/Optimierung“ die Option „Eingabeaufforderung/Negativaufforderung auf gleiche Länge auffüllen“ und klicken Sie auf die Schaltfläche „Einstellungen übernehmen“. Mit diesem Schritt soll vermieden werden, dass zwei unabhängige GIF-Bilder generiert werden. Die Auswahl, ob „Batch cond/uncond“ aktiviert werden soll, ist optional und erhöht die Geschwindigkeit, erhöht jedoch die Videospeichernutzung.
2. Deaktivieren Sie die Hash-Berechnung nicht, da AnimateDiff sonst nicht bestimmen kann, wann Bewegungsmodule gewechselt werden müssen.
3. Verwenden Sie txt2img, um Text in GIF zu konvertieren, und img2img, um Bilder in GIF zu konvertieren. Um große Sprünge im Bildschirm zu vermeiden, empfiehlt es sich, die img2img-Schnittstelle zu verwenden. Die von diesem Plug-in generierten ultrakurzen Videos werden im GIF-Format gespeichert.
4. Wählen Sie ein SD1.5-Modell aus, schreiben Sie Aufforderungswörter und legen Sie die Konfiguration fest (z. B. Bildbreite/-höhe). Wenn Sie mehrere GIFs gleichzeitig generieren möchten, ändern Sie die Stapelnummer, nicht die Stapelgröße.
5. Aktivieren Sie die AnimateDiff-Erweiterung, legen Sie die Parameter fest und klicken Sie auf die Schaltfläche „Generieren“.
6. Das generierte GIF befindet sich im Verzeichnis „stable-diffusion-webui/outputs/{txt2img or img2img}-images/AnimateDiff“. Die generierten Zwischenbildrahmen befinden sich im Verzeichnis „stable-diffusion-webui/outputs/{txt2img or img2img}-images/{date}“. Der Generierungspfad kann unter „Einstellungen/AnimateDiff“ geändert werden.
Parameterbeschreibung:
Format speichern:
Das Ausgabedateiformat. Wählen Sie mindestens eine aus: „GIF“ | „MP4“ | „WEBP“ | „PNG“. Wenn zusätzlicher Informationstext erforderlich ist, markieren Sie „TXT“ und er wird im selben Verzeichnis wie die ausgegebene GIF-Datei gespeichert.
Anzahl der Frames:
Es wird allgemein empfohlen, dass die Anzahl der Bilder für das generierte ultrakurze Video weniger als 20 Bilder beträgt.
Bildrate (FPS):
Es ist besser, 30-60 zu wählen.
Schleifennummer anzeigen:
Die Anzahl der vom GIF abgespielten Schleifen. Ein Wert von 0 bedeutet, dass die GIF-Wiedergabe niemals aufhört.
Kontext-Batch-Größe:
Die Anzahl der Frames, die jedes Mal an das Bewegungsmodul übergeben werden. Das SD1.5-Bewegungsmodul wird auf Basis von 16 Frames trainiert. Wenn die Anzahl der Frames also auf 16 eingestellt ist, ist der Effekt am besten.
Geschlossener Kreislauf:
Das Schließen der Schleife bedeutet, dass die Erweiterung versucht, den letzten Frame mit dem ersten Frame identisch zu machen. Wählen Sie aus verschiedenen Schleifenschließungsoptionen (N|R-P|R+P|A), um zu bestimmen, wie Sie eine Schleifenschließung erreichen.
- N bedeutet absolut kein geschlossener Kreislauf. Dies ist die einzige verfügbare Option, wenn die Anzahl der Frames kleiner als die Kontext-Batch-Größe und nicht 0 ist.
- R-P bedeutet, dass die Erweiterung versucht, die Anzahl der Closed-Loop-Kontexte zu reduzieren. Der Spitzenweg wird nicht zu einer geschlossenen Schleife interpoliert.
- R+P bedeutet, dass die Erweiterung versuchen wird, die Anzahl der Closed-Loop-Kontexte zu reduzieren. Die momentane Fahrt wird in einen geschlossenen Regelkreis interpoliert.
- A bedeutet, dass die Erweiterung aktiv versucht, den letzten Frame dem ersten anzugleichen. Die momentane Fahrt wird in einen geschlossenen Regelkreis interpoliert.
Schreiten:
Maximaler Bewegungsschritt, ausgedrückt als Potenz von 2 (Standard: 1). Aufgrund der Einschränkungen unendlicher Kontextgeneratoren ist dieser Parameter nur wirksam, wenn die Anzahl der Frames größer als die Kontextstapelgröße ist. Wenn Stride 1 ist, ist „Absolut kein geschlossener Regelkreis“ möglich.
Überlappung:
Die Anzahl der überlappenden Frames im Kontext. Wenn die Überlappung auf -1 (Standardeinstellung) eingestellt ist, beträgt die Überlappung ein Viertel der Kontextstapelgröße. Aufgrund der Einschränkungen unendlicher Kontextgeneratoren ist dieser Parameter nur gültig, wenn die Anzahl der Frames > die Größe des Kontextstapels.
Frame-Interpolation:
Interpolation zwischen Frames mithilfe der FILM-Implementierung von Deforum. Erfordert die Deforum-Erweiterung.
Interpolationsmultiplikator (Interp X):
Ersetzen Sie jeden Eingaberahmen durch X-interpolierte Ausgaberahmen.