Verwenden Sie den SoftEdge-Algorithmus und Open Pose von Controlnet und fügen Sie das Ebsynth-Plug-In hinzu, um ein Tanzvideo einer echten Person zu animieren. Die spezifischen Schritte sind:
1. Legen Sie mit ebsynth das Ausgabeverzeichnis fest (keine chinesischen Zeichen, sonst wird ein Fehler gemeldet, ich habe es versucht), wählen Sie das Originalvideo aus, führen Sie den Extraktionssequenzrahmen aus und generieren Sie ein Maskenbild. Nachdem das Maskenbild generiert wurde, Überprüfen Sie, ob es Ihren Wünschen entspricht. Wenn nicht, können Sie die Parameter anpassen und neu generieren
2. Legen Sie das Keyframe-Intervall fest und generieren Sie Keyframes (es wird empfohlen, 5 einzustellen). Je kleiner der Wert, desto kohärenter wird das Video generiert. Andernfalls friert es ein, aber gleichzeitig erhöht sich auch der Berechnungsaufwand )
3. Verwenden Sie das Plug-in isnet_pro, um im vorherigen Schritt den Hintergrund von allen Schlüsselbildern zu entfernen und Schlüsselbilder nur mit weißem Hintergrund + Zeichen zu erhalten.
4. Importieren Sie einen der aus dem vorherigen Schritt extrahierten Keyframes und fügen Sie ihn in den „WD 1.4 Labeler“ ein, um die Eingabeaufforderungen umzukehren, löschen Sie die Eingabeaufforderungen, die offensichtlich nicht übereinstimmen, senden Sie ihn dann an Tu Shengtu und importieren Sie dann einen aus den Keyframes Aus dem vorherigen Schritt extrahiert. Gehen Sie zum Bild, um das Bild zu zeichnen, wählen Sie das große Modell und Lora aus und richten Sie dann das Kontrollnetz ein. Hier benötigen Sie zwei Kontrollnetze, eines mit Softedge (es können auch Canny-, Hed- oder andere Algorithmen sein). Testen Sie es, um zu sehen, welches besser funktioniert), und eines mit Openpose. Behalten Sie die Auflösung bei, die mit der des Keyframes übereinstimmt. Stellen Sie den Stapel so ein, dass mehrere Bilder gleichzeitig erstellt werden. Klicken Sie auf „Generieren“. Beobachten Sie alle Änderungen am Bild und korrigieren Sie sie durch Hinzufügen von Eingabeaufforderungen. Passen Sie die Parameter wiederholt an, bis Sie ein zufriedenstellendes Bild erhalten. Korrigieren Sie den Startwert und wählen Sie dann ebsynth im Skript aus, legen Sie den Verzeichnispunkt fest und führen Sie es aus, sodass alle Schlüsselbilder in diesem Stil generiert werden (die generierten Bilder können). Es gibt einige Unreinheiten, da die KI-Malerei von Natur aus viele Unsicherheiten aufweist, die berücksichtigt werden sollten. Fügen Sie detailliertere Eingabeaufforderungen hinzu, um den Charakter Lora selbst zu verbessern oder zu trainieren (lösen Sie es)). Wenn Sie ein Bild sehen, das nicht den Anforderungen entspricht, können Sie dies tun Verwenden Sie PS, um es zu ändern, oder verwenden Sie die Zeichnung, um es neu zu generieren. Verwenden Sie Segment Anything, um eine Maske, PS-Änderung usw. zu erstellen. Kann
5. Ändern Sie die Farbe oder den Stil des im vorherigen Schritt erstellten Bildes (dies ist optional und kann übersprungen werden, die Standardeinstellung ist die gleiche wie beim Originalvideo).
6. Passen Sie die Größe der generierten Bilder an (dieser Schritt ist ebenfalls optional und kann übersprungen werden. Bei Bedarf können Sie die Funktion „Nachbearbeitung -> Stapelverarbeitung“ von SD verwenden), um die Auflösung und Größe der endgültigen Synthese zu beeinflussen Video (Wenn beim Extrahieren von Sequenzbildern in einem Schritt die Größe nicht festgelegt ist, wird standardmäßig die gleiche Größe wie beim Originalvideo verwendet.)
7. Verwenden Sie ebsynth, um Schlüsselbilder in eine Form zu packen, die von der ebsynth-Software verarbeitet werden kann.
8. Berechnen Sie mit der ebsynth-Software alle Animationsbilder und synthetisieren Sie das Video basierend auf der im vorherigen Schritt generierten Datei.
9. Abschließend können Sie ein Bild hochladen, um den Hintergrund zu ändern (dieser geänderte Hintergrund sollte auf dem Maskenbild im ersten Schritt basieren).