C16 : Flux de travail pour les modèles de base et de raffinement SDXL – Le guide complet

Introduction

Le modèle SDXL offre de puissantes capacités de génération et de raffinement d'images, ce qui en fait un choix populaire pour les flux de travail créatifs. Dans cet article, nous explorerons la configuration du flux de travail SDXL complet en utilisant à la fois le modèle de base et le modèle de raffinement. En exploitant efficacement ces modèles, vous pouvez produire des images de haute qualité avec des détails améliorés et des effets artistiques.

Pour plus de commodité, téléchargez les modèles ici :

• SDXL Base Model: Télécharger depuis Hugging Face
• SDXL Refiner Model: Télécharger depuis Hugging Face

Après avoir téléchargé le modèle, placez-le dans le dossier « C:\Users\<username>\Documents\ComfyUI\models\checkpoints »

Qu'est-ce que SDXL ?

Le Stable Diffusion XL (SDXL) représente une avancée significative dans le domaine de la génération d'images par IA. Développé par Stability AI, ce modèle s'appuie sur le succès des versions antérieures de Stable Diffusion en introduisant des capacités améliorées pour générer des images ultra-réalistes en haute résolution.

Fonctions clés de SDXL :

1. Flux de travail en deux étapes: SDXL est conçu pour fonctionner avec deux modèles :
   • Modèle de base: chargé de générer l'image initiale avec des caractéristiques, des textures et des compositions fondamentales.
   • Modèle de raffinement: améliore encore l'image générée en affinant les détails, en améliorant les textures et en ajoutant des effets artistiques.
2. Sorties à plus haute résolution: SDXL prend en charge des résolutions allant jusqu'à 1024×1024 pixels, ce qui le rend idéal pour les projets créatifs nécessitant des images détaillées et de haute qualité.
3. Meilleure compréhension des invites: le modèle excelle dans l'interprétation des invites complexes, permettant aux utilisateurs de créer des sorties hautement personnalisées qui correspondent à leur vision créative.
4. Gestion du bruit: SDXL intègre des techniques avancées de gestion du bruit pendant la génération d'images, permettant des transitions plus fluides entre les étapes de base et de raffinement.
5. Polyvalence entre les styles: que vous visiez le photoréalisme, l'art abstrait ou des sorties stylisées, SDXL s'adapte à divers styles artistiques avec une flexibilité remarquable.

Pourquoi utiliser SDXL ?

SDXL est particulièrement utile pour les flux de travail qui exigent à la fois créativité et précision. En combinant le modèle de base avec le modèle de raffinement, les utilisateurs peuvent obtenir des résultats non seulement visuellement époustouflants, mais aussi hautement personnalisables. Cela fait de SDXL un excellent choix pour les professionnels de domaines tels que l'art numérique, le design graphique et la narration visuelle.

Configuration du flux de travail SDXL

Étape 1 : Configuration du modèle de base

Commencez par charger le SDXL Base 1.0 checkpoint dans votre flux de travail. Utilisez un K Sampler Advanced Node pour affiner le processus de génération d'images.

1. Add Noise: activez l'ajout de bruit pour que le modèle de base effectue le processus de diffusion ordinaire.
2. Configuration des étapes: définissez le nombre total d'étapes sur 30. Cependant, laissez un peu de bruit pour que le second nœud d'échantillonnage puisse l'affiner plus tard.
3. Activer Return with Leftover Noise: cela garantit qu'il reste du bruit dans l'espace latent pour que le modèle de raffinement le traite.

Paramètres à définir :

• Add Noise: Enable
• End at Step: 20 (sur 30)
• Return with Leftover Noise: Enable

Exécutez le flux de travail pour générer une image initiale. Enregistrez cette image sur le disque pour la comparer plus tard.

Étape 2 : Configuration du modèle de raffinement

Une fois que le modèle de base a généré l'image initiale, il est temps de la raffiner avec le SDXL Refiner Model.

1. Load Checkpoint: chargez le modèle de raffinement SDXL dans votre flux de travail.
2. Désactiver l'ajout de bruit: comme l'image contient déjà du bruit provenant du modèle de base, désactivez l'ajout de bruit pour le modèle de raffinement.
3. Connecter les nœuds:
   • Positive Conditioning: connectez l'invite positive au modèle de raffinement.
   • Negative Conditioning: connectez l'invite négative au modèle de raffinement.
   • Latent: transmettez l'espace latent du modèle de base au modèle de raffinement.

Paramètres à définir :

• Add Noise: Disable
• Start at Step: 20
• End at Step: 30
• Control After Generate: Fixed

Étape 3 : Optimisation du flux de travail

Pour rationaliser le processus, utilisez des nœuds primitifs pour transmettre les invites entre le modèle de base et le modèle de raffinement. Cela évite de dupliquer l'invite manuellement et garantit la cohérence.

1. Utilisez un Primitive Node pour acheminer les invites positives et négatives vers les deux modèles.
2. Connectez les invites aux Clip Text Encode Conditioning Nodes de chaque modèle.

Étape 4 : Enregistrement et comparaison des sorties

Après avoir raffiné l'image, enregistrez la sortie finale à l'aide d'un Save Image Extended Node. Mettez à jour les métadonnées de ce nœud pour garantir que les données correctes sont capturées à partir du modèle de raffinement.

Mise à jour des métadonnées :

• Remplacez les espaces réservés (par ex., les dièses) dans le Save Image Extended Node par cet ID.

Une fois enregistrées, comparez les sorties :

• Sortie du modèle de base: contient du bruit et semble moins détaillée.

• Sortie des modèles de base + raffinement: le bruit est supprimé, ce qui donne une image soignée avec des effets d'aquarelle améliorés et des détails plus fins.

Exemples d'invites de référence

Pour obtenir les meilleurs résultats, commencez par des invites bien conçues. Voici des exemples d'invites positives et négatives que vous pouvez utiliser :

Invite positive :

A fantasy castle surrounded by lush greenery, intricate architectural details, vibrant colors, and a glowing sunrise in the background, watercolor style, ultra-realistic, 4K resolution  

Invite négative :

Blurry, low-quality, distorted, overexposed, grainy, unrealistic proportions, poorly lit, low resolution  

Ces invites peuvent être personnalisées en fonction de votre vision créative.

Paramètres clés dans K Sampler Advanced Node

Voici un résumé des paramètres clés utilisés dans le K Sampler Advanced Node pour les deux modèles :

Avantages de l'utilisation des modèles de base et de raffinement SDXL

En combinant les modèles de base et de raffinement dans votre flux de travail, vous pouvez obtenir :

• Une meilleure qualité d'image: le modèle de raffinement supprime le bruit résiduel et améliore les détails.
• De meilleurs effets artistiques: de meilleures textures et un meilleur mélange des couleurs pour des sorties créatives.
• Efficacité du flux de travail: l'utilisation de nœuds primitifs et l'acheminement des invites réduisent les erreurs de saisie manuelle.