Projekthomepage: FaceChain-fact: Gesichtsadapter für menschliches AIGC
Github-Projekt: https://github.com/modelscope/facechain
1. Einleitung
Als führender Anbieter von Open-Source-Projekten für KI-Porträts erfreut sich FaceChain großer Beliebtheit in der Community und wird aufgrund seiner umfangreichen und vielfältigen Stilvorlagen und der hervorragenden Porträttreue häufig in kommerziellen Anwendungen eingesetzt. Vor Kurzem hat das FaceChain-Team eine neue Version herausgebracht – FaceChain FACT. Diese innovative Version verzichtet auf den traditionellen Charaktermodell-Trainingsprozess und kann direkt Zero-Shot-Zielporträts generieren, was die KI-Porträtgenerierung in eine einstufige Ära ohne Training führt.
Waren Sie schon einmal frustriert, weil Sie nur wenige Fotos in Ihrem Fotoalbum haben und Ihr digitales Bild nicht trainieren konnten? Oder haben Sie Angst, weil Sie etwa 20 Minuten auf das Charaktertraining warten müssen? Derzeit verwenden die meisten KI-Porträts auf dem Markt ein zweistufiges Modell aus „Training + Generierung“, das sowohl eine große Bilddatenunterstützung als auch eine gewisse Trainingszeit erfordert. Dieses Modell erhöht die Nutzungskosten für Benutzer. Angesichts dieses Problems bietet FaceChain eine Lösung: Keine großen Datenmengen erforderlich, kein Warten auf das Training oder gar kein Training, nur ein Bild und 10 Sekunden, um sofort ein KI-Foto zu erstellen!
2. Prinzip
Der Grund, warum FaceChain FACT (Face Adapter) die Trainingsphase überspringen kann, liegt darin, dass es auf Millionen von Fotodaten trainiert wurde , was Stable Diffusion leistungsstarke Funktionen zur Gesichtsrekonstruktion bietet. Im Gegensatz zur herkömmlichen zweistufigen Methode zur Porträtgenerierung rekonstruiert FaceChain FACT die Architektur des Stable Diffusion-Modells, sodass Gesichtsinformationen als unabhängige Verzweigungsbedingung verwendet und parallel zu Textinformationen zur Schlussfolgerung an das Modell gesendet werden können. Auf diese Weise ist FaceChain FACT in der Lage, die Aufgabe der Gesichtsrekonstruktion effizienter zu bewältigen und so die langwierige Trainingsphase zu vermeiden. Der gesamte Rahmen von FACT ist in der folgenden Abbildung dargestellt:
Um detailliertere Informationen über Gesichter umfassender zu extrahieren, verwendet FACT einen Gesichtsmerkmalsextraktor, der auf der Transformer-Architektur basiert und auf umfangreichen Gesichtsdaten vorab trainiert wurde. Im Gegensatz zu den Funktionen der CNN-Architektur können sich die auf der Transformer-Architektur basierenden Funktionen besser an die Struktur der stabilen Diffusion anpassen. Auf diese Weise kann FACT die detaillierten Merkmale des Gesichts genauer beibehalten und so eine hochauflösende Gesichtsrekonstruktion erreichen.
Um sicherzustellen, dass die ursprünglichen Funktionen der stabilen Diffusion vollständig erhalten bleiben, wird FACT als unabhängige Adapterschicht in den ursprünglichen stabilen Diffusionsblock eingefügt. Die ursprünglichen Blockparameter werden während des Trainings festgelegt und nur der Adapter wird trainiert. Darüber hinaus sind Gesichtsmerkmale und Textmerkmale unabhängig voneinander und werden parallel an den Block gesendet, um gegenseitige Störungen zu vermeiden. Durch Anpassen der Gewichtung des Gesichtssignals können Benutzer den Generierungseffekt flexibel anpassen und so die Wiedergabetreue und Generalisierung von Gesichtern ausgleichen und gleichzeitig die ursprüngliche vinzentinische Diagrammfunktion der stabilen Diffusion beibehalten.
3. Wirkung
Mit der Unterstützung von FACT hat die Porträtgenerierungserfahrung von FaceChain einen weiteren qualitativen Sprung gemacht.
1. In Bezug auf die Generierungsgeschwindigkeit hat FaceChain-FACT die langwierige und mühsame Trainingsphase erfolgreich überflüssig gemacht und die Generierungszeit individueller Porträts um das Hundertfache verkürzt. Jetzt dauert der gesamte Generierungsprozess nur noch etwa 10 Sekunden, was den Benutzern ein äußerst reibungsloses Erlebnis bietet.
2. In Bezug auf Generierungseffekte hat FaceChain-FACT die Feinheit menschlicher Gesichter erfolgreich verbessert und sie näher an echte Porträteffekte herangeführt. Durch die Beibehaltung sehr detaillierter Gesichtsinformationen ist das resultierende Porträt sowohl atemberaubend als auch natürlich. Die große Anzahl exquisiter Stilvorlagen von FaceChain verleihen den generierten Porträts künstlerische Lebendigkeit.
Die Geburt von FaceChain-FACT wird den Benutzern ein beispielloses, hochwertiges KI-Fotoerlebnis eröffnen. Neben erheblichen Verbesserungen der Generierungsgeschwindigkeit und -qualität bietet FaceChain auch eine umfangreiche API-Schnittstelle, die es Entwicklern ermöglicht, maßgeschneiderte Entwicklungen entsprechend ihren eigenen Anforderungen durchzuführen. Egal, ob Sie Ihre eigene KI-Fotoanwendung erstellen oder die Funktionalität von FaceChain in ein bestehendes Projekt integrieren möchten, Sie können dies ganz einfach tun. Wir sind uns der Bedeutung von Innovation und Anpassung bewusst und werden daher weiterhin neue Stilvorlagen und weitere interessante Funktionen erkunden und hinzufügen. Wir heißen Freunde, die sich für Open-Source-Technologie interessieren, herzlich willkommen, sich uns anzuschließen und gemeinsam den Bereich der AIGC Vincent-Grafik in eine neue Ära zu führen!
4.Referenz
Projekthomepage: FaceChain-fact: Gesichtsadapter für menschliches AIGC
Github-Projekt: https://github.com/modelscope/facechain