papier：https://arxiv.org/abs/2303.15433
code：https://github.com/VinAIResearch/Anti-DreamBooth.git.
Aperçu
Résumé
Les modèles de diffusion texte-image ne sont rien d'autre qu'une révolution, permettant à quiconque, même sans compétences en conception, de créer des images réalistes à partir de simples entrées de texte. Avec de puissants outils de personnalisation comme DreamBooth, ils peuvent générer des images d'une personne spécifique simplement en apprenant à partir de ses quelques images de référence. Cependant, lorsqu'il est mal utilisé, un outil aussi puissant et pratique peut produire de fausses nouvelles ou un contenu dérangeant ciblant n'importe quelle victime, ce qui a un impact social négatif grave. Dans cet article, nous explorons un système de défense appelé Anti-DreamBooth contre une telle utilisation malveillante de DreamBooth. Le système vise à ajouter une subtile perturbation sonore à l'image de chaque utilisateur avant la publication afin de perturber la qualité de génération de tout modèle DreamBooth formé sur ces images perturbées. Nous étudions un large éventail d'algorithmes pour l'optimisation des perturbations et les évaluons de manière approfondie sur deux ensembles de données faciales sur diverses versions de modèles texte-image. Malgré la formulation compliquée des modèles texte-image basés sur DreamBooth et Diffusion, nos méthodes défendent efficacement les utilisateurs contre l'utilisation malveillante de ces modèles. Leur efficacité résiste même aux conditions défavorables, telles que l'inadéquation du modèle ou de l'invite/du terme entre la formation et les tests. Notre code sera disponible sur https://github.com/VinAIResearch/Anti-DreamBooth.git. Leur efficacité résiste même aux conditions défavorables, telles que l'inadéquation du modèle ou de l'invite/du terme entre la formation et les tests. Notre code sera disponible sur https://github.com/VinAIResearch/Anti-DreamBooth.git. Leur efficacité résiste même aux conditions défavorables, telles que l'inadéquation du modèle ou de l'invite/du terme entre la formation et les tests. Notre code sera disponible sur https://github.com/VinAIResearch/Anti-DreamBooth.git.
Résultats
Figure 1 : Un attaquant malveillant peut collecter les images d'un utilisateur pour former un générateur de texte en image personnalisé à des fins malveillantes. Notre système, appelé Anti-DreamBooth, applique des perturbations imperceptibles aux images de l'utilisateur avant de les publier, empêchant tout générateur personnalisé formé sur ces images de produire des images utilisables, protégeant ainsi l'utilisateur de cette menace.
Figure 2 : Résultats de défense qualitatifs pour deux sujets en VGGFace2 dans le cadre pratique. A voir de préférence en zoom.
Figure 3 : Images personnalisées perturbatrices générées par Astria (SD v1.5 avec détection de visage activée). Les invites pour la génération d'images incluent : (1) "portrait d'une personne sks portant de fantastiques vêtements en coton teints à la main, nœuds de franges décoratifs en plumes ornées de perles, queue de cochon colorée, fleurs et plantes subtropicales, visage symétrique, complexe, élégant, très détaillé, 8k , peinture numérique, tendance sur pinterest, bazar de harper, art conceptuel, mise au point nette, illustration, par artgerm, Tom Bagshaw, Lawrence Alma-Tadema, greg rutkowski, alphonse Mucha », (2) « gros plan du visage du mannequin sks person en vêtements de plumes blanches, éditorial officiel balmain, éclairage dramatique très détaillé ", et (3)" portrait de sks person prince :: par Martine Johanna et Simon St ̊alenhag et Chie Yoshii et Casey Weldon et wlop :: orné, dynamique, particulaire,
Figure 4 : Images personnalisées perturbatrices générées par Astria (Protogen avec Prism et détection de visage activés). Les invites pour la génération d'images incluent : (1) "portrait d'une personne sks portant de fantastiques vêtements en coton teints à la main, nœuds de franges décoratifs en plumes ornées de perles, queue de cochon colorée, fleurs et plantes subtropicales, visage symétrique, complexe, élégant, très détaillé, 8k , peinture numérique, tendance sur pinterest, bazar de harper, art conceptuel, mise au point nette, illustration, par artgerm, Tom Bagshaw, Lawrence Alma-Tadema, greg rutkowski, alphonse Mucha », (2) « gros plan du visage du mannequin sks person en vêtements de plumes blanches, éditorial officiel de balmain, éclairage dramatique très détaillé », et (3) « portrait of sks person prince :: by Martine Johanna and Simon St ̊alenhag and Chie Yoshii and Casey Weldon and wlop :: ornate, dynamic,
Figure 5 : Résultats qualitatifs d'ASPL avec deux versions différentes de modèles SD (v1.4 et v1.5) sur VGGFace2. Nous fournissons dans chaque test une seule image d'entrée représentative. Les invites de génération incluent (1) "une photo de la personne sks" et (2) "un portrait dslr de la personne sks".
Figure 6 : Résultats qualitatifs de l'ASPL avec deux versions différentes de modèles SD (v1.4 et v1.5) sur CelebA-HQ. Nous fournissons dans chaque test une seule image d'entrée représentative. Les invites de génération incluent (1) "une photo de la personne sks" et (2) "un portrait dslr de la personne sks".
Figure 7 : Résultats qualitatifs de l'ASPL avec différents budgets de bruit sur VGGFace2.
Figure 8 : Résultats qualitatifs de l'ASPL avec différents budgets de bruit sur CelebA-HQ.
Figure 9 : Résultats qualitatifs de l'ASPL dans des environnements défavorables sur VGGFace2 où la version du modèle SD dans l'apprentissage des perturbations ne correspond pas à celle utilisée dans l'étape de réglage fin de DreamBooth (v1.4 → v2.1 et v1.4 → v2.0). Nous testons avec deux sujets au hasard et les notons respectivement en vert et en rouge.
Figure 10 : Résultats qualitatifs de E-ASPL sur VGGFace2, où le modèle d'ensemble combine 3 versions de modèles SD, y compris v1.4, v1.5 et v2.1. Ses performances sont validées sur deux modèles DreamBooth affinés respectivement sur SD v2.1 et v2.0. Nous testons avec deux sujets au hasard et les notons respectivement en vert et en rouge.
Figure 11 : Résultats qualitatifs de l'ASPL sur VGGFace2 où le terme d'entraînement et l'invite du modèle DreamBooth cible ne correspondent pas à ceux de l'apprentissage par perturbation. Dans le premier scénario, le terme de formation passe de « sks » à « t@t ». Dans le deuxième scénario, l'invite de formation est remplacée par "un portrait DSLR d'une personne sks" au lieu de "une photo d'une personne sks". Ici, S∗ est « t@t » pour la non-concordance des termes et « sks » pour la non-concordance des invites. Nous testons avec deux sujets au hasard et les notons respectivement en vert et en rouge.
Figure 12 : Résultats qualitatifs de l'ASPL dans un cadre non contrôlé sur VGGFace2. Nous notons les exemples perturbés et les exemples propres qui ont fui en rouge et en vert, respectivement.
Conclusion
Cet article révèle une menace potentielle des modèles DreamBooth mal utilisés et propose un cadre pour contrer la menace. Notre solution consiste à perturber les images des utilisateurs avec un bruit contradictoire subtil afin que tout modèle DreamBooth formé sur ces images produise des images personnalisées médiocres. L'idée clé est d'induire en erreur le modèle DreamBooth cible pour qu'il fonctionne mal à chaque étape de débruitage sur les images originales non perturbées. Nous avons conçu plusieurs algorithmes et les avons évalués de manière approfondie dans différents contextes. Notre défense est efficace, même dans des conditions défavorables. À l'avenir, nous visons à améliorer l'imperceptibilité et la robustesse de la perturbation [15, 56, 55] et à conquérir les paramètres non contrôlés.