Dans l'article précédent « Stable Diffusion Open Source Model SDXL 1.0 Release », le dernier modèle de Stable Diffusion, SDXL, a été présenté. Cependant, lors du téléchargement du modèle, il a été constaté qu'il existe deux modèles, à savoir stable-diffusion-xl-base-1.0 et stable-diffusion-xl-refiner-1.0. Je n'ai pas lu attentivement l'introduction au début et j'ai pris pour acquis que le modèle de raffineur devait être meilleur que le modèle de base. J'ai donc téléchargé le modèle de raffinement, mais en utilisant l'image générée par le modèle, j'ai toujours l'impression que quelque chose ne va pas :
Les indices utilisés sont :
chef-d'œuvre, (meilleure qualité: 1.3), ultra haute résolution, photo brute, peau détaillée, style: images réalistes, 1 fille, photographie de film documentaire sur la nature froide, environnement de montagne enneigée, lumière naturelle, visage clair, acné mineure,
Après avoir essayé plusieurs fois, l'image obtenue est très mauvaise, soit les proportions sont fausses, soit l'image est ostentatoire, toutes sortes de problèmes étranges.
Essayez ensuite le modèle de base, en utilisant la même invite, l'image résultante est :
La qualité de l'image semble être meilleure. Que se passe-t-il ici, j'ai lu attentivement la description du modèle, et elle s'est avérée très claire :
En d'autres termes, le modèle de base est utilisé pour créer des graphiques de Vincent et le modèle de raffinement est utilisé pour créer des graphiques générés par des graphiques.
Tout d'abord, le modèle de base (Base) est utilisé pour générer des variables latentes (bruyantes), qui sont ensuite traitées ultérieurement par un modèle de raffinement dédié au débruitage.
Bien entendu, le modèle de base lui-même peut également être utilisé comme module indépendant, mais l'effet est meilleur lorsqu'il est connecté en série.
On peut voir que le contraste de l'image traitée ultérieurement par le modèle de raffinement est plus élevé et que le traitement des bords des cheveux est meilleur. Bien sûr, l'effet est différent de l'image générée par le modèle de base. Si vous aimez l'image généré par le modèle de base, vous pouvez enregistrer l'étape suivante.
Si nous examinons plus en détail le fichier modèle, nous constatons que le modèle de base et le modèle de raffinement ont chacun une version vae :
Il existe également un modèle sdxl_vae distinct :
Qu'est-ce qui se passe avec ce vae ?
Que sont les VAE ?
VAE (Variable Auto Encoder, Variable Auto Encoder) est un fichier ajouté au modèle de point de contrôle de diffusion stable pour des couleurs plus vives et des images plus nettes. La VAE a souvent l’avantage supplémentaire d’améliorer les mains et le visage.
Vous pouvez regarder la comparaison des images traitées par VAE :
Techniquement, les modèles peuvent avoir des VAE intégrés, ou des VAE externes courants, dont certains fonctionnent encore mieux que les VAE intégrés.
Le fichier modèle sd_xl_base_1.0_0.9vae.safetensors mentionné ci-dessus est le modèle sdxl avec VAE intégré, qui peut être utilisé indépendamment. Et sdxl_vae est un modèle VAE externe, spécialement formé pour le modèle SDXL et doit être utilisé avec le modèle de base sdxl. Il ressort également de la taille du fichier que sd_xl_base_1.0_0.9vae.safetensors atteint 6,9 G, tandis que sdxl_vae ne dépasse que 300 M.
L'image ci-dessous a été générée à l'aide du fichier modèle sd_xl_base_1.0_0.9vae.safetensors :
Image générée à l'aide de sdxl_vae avec le modèle de base sdxl :
On peut voir qu’après avoir utilisé VAE, l’image générée est plus riche en couleurs et plus riche en détails du visage.
Vous pouvez également essayer les modèles VAE généraux du marché, tels que kl-f8-anime2 VAE, vae-ft-mse-840000-ema-pruned, chacun ayant ses propres avantages et inconvénients.
Utilisez VAE (prenez stable-diffusion-webui comme exemple)
Pour le modèle sdxl avec VAE intégré, utilisez la même méthode que le modèle de base, placez le fichier modèle dans le dossier stable-diffusion-webui\models\Stable-diffusion, puis actualisez-le et sélectionnez-le dans la liste déroulante. liste:
Pour les modèles VAE externes, les étapes sont légèrement plus importantes.
Téléchargez d'abord les fichiers VAE externes mentionnés ci-dessus et placez-les dans le dossier stable-diffusion-webui\models\VAE.
Remarque : Il s'agit du répertoire VAE, qui est différent de l'emplacement du modèle de base.
Ensuite, dans l'interface Web, cliquez sur Paramètres > Afficher toutes les pages .
Recherchez ensuite la liste Quicksettings dans l’élément de configuration et ajoutez sd_vae après sd_model_checkpoint.
Faites défiler vers le haut des paramètres. Cliquez sur Appliquer les paramètres, puis sur Recharger l'interface utilisateur.
Maintenant, en haut de txt2img, vous pouvez voir la liste déroulante SD VAE, sélectionnez-y VAE. Si vous avez téléchargé un nouveau VAE et l'avez placé dans le dossier VAE, cliquez sur le bouton bleu d'actualisation pour le voir dans la liste déroulante.
résumé
Le processus de base d'utilisation du modèle sdxl consiste à utiliser d'abord le modèle de base pour générer des graphiques, puis à utiliser le modèle affiné pour générer des graphiques. Mais personnellement, je préfère le modèle de base à l'image de Vincent, mais je pense que le contraste de l'image est trop élevé après avoir utilisé le modèle raffiné. Bien sûr, je n'ai essayé que des portraits de personnes jusqu'à présent. Peut-être dans les images de paysages, d'animations , etc., le modèle raffiné est meilleur.
Les VAE sont plus agréables à l'œil pour des couleurs plus vives et des images plus nettes, je me penche donc actuellement vers le modèle de base SDXL avec VAE intégré.
Lequel aimes-tu? Bienvenue à laisser un message.