C21 : Maîtriser les prompts image vers image et l’échelle CFG dans ComfyUI

Introduction

Dans notre article précédent, « Image-to-Image Transformation in ComfyUI » , nous avons exploré les bases de la création d’un flux de travail image vers image. Nous avons expliqué comment la diffusion dans l’espace latent permet des transformations créatives tout en préservant les éléments essentiels de l’image d’entrée. Si vous débutez avec ComfyUI ou les flux de travail image vers image, nous vous recommandons de lire d’abord cet article pour comprendre les bases.

Dans ce guide complémentaire, nous approfondirons la rédaction des prompts, l’échelle de guidage sans classifieur (CFG) et la force de débruitage— trois facteurs essentiels qui influencent la qualité et le style de vos images générées. En optimisant ces paramètres, vous pouvez parvenir à un équilibre parfait entre créativité artistique et fidélité à l’image d’origine.

Qu’est-ce que l’échelle CFG et pourquoi est-elle importante ?

L’échelle de guidage sans classifieur (CFG) est un paramètre clé des flux de travail d’IA générative qui détermine la force avec laquelle le modèle suit le prompt fourni. Une échelle CFG plus élevée donne plus d’influence au prompt, tandis qu’une échelle CFG plus basse permet au modèle d’incorporer davantage d’aléatoire provenant de son espace latent.

L’échelle CFG est particulièrement importante dans les flux de travail image vers image, où l’on souhaite conserver des détails précis de l’image d’entrée tout en introduisant des changements stylistiques.

Paramètres clés du prompting image vers image

1. Rédiger des prompts efficaces

Lors de la création de prompts pour les flux de travail image vers image, il est essentiel d’inclure à la fois des éléments de contenu et de style. Un prompt bien rédigé garantit que le modèle génère des images conformes à votre vision créative.

Exemples de prompts :

Prompt de contenu:
Sommets majestueux, vallées verdoyantes, lumière dorée du soleil traversant les nuages, brume atmosphérique, serein et tranquille.
Prompt de style:
Peinture à l’aquarelle, coups de pinceau doux, palette de couleurs vive mais naturelle, impression artistique.
Prompt négatif:
Pas de bâtiments, pas de véhicules, pas de personnes, pas d’objets artificiels.

Les prompts négatifs sont essentiels pour éliminer les éléments indésirables qui pourraient nuire à la composition prévue.

2. Force de débruitage

Le paramètre de force de débruitage contrôle la mesure dans laquelle l’image d’origine est remplacée par le processus génératif.

Débruitage élevé (p. ex., 1.0): transforme complètement l’image d’entrée en fonction du prompt.
Débruitage moyen (p. ex., 0.5): équilibre l’image d’entrée et les modifications stylistiques.
Débruitage faible (p. ex., 0.0–0.3): conserve l’essentiel de l’image d’origine en appliquant des changements artistiques minimes.

3. Paramètres de planificateur et d’échantillonneur

ComfyUI propose divers échantillonneurs et planificateurs pour affiner le processus de génération d’images :

Échantillonneur DPM++2M: réputé pour sa précision et ses résultats de haute qualité.
Planificateur Karras: optimisé pour des résultats plus rapides avec moins d’étapes, en se concentrant sur les premières phases de la diffusion.

Optimisation du flux de travail

Étape 1 : ajuster l’échelle CFG

Augmenter l’échelle CFG amplifie l’influence du prompt et permet des résultats plus stylisés. Par exemple :

Échelle CFG de 7–8: produit des résultats équilibrés qui associent le prompt et l’image d’origine.
Échelle CFG de 10–12: forte adhésion au prompt, mais peut entraîner un surapprentissage ou des hallucinations.

Lorsqu’on utilise des échelles CFG élevées, il est essentiel de les associer à des valeurs de débruitage appropriées pour éviter des écarts excessifs par rapport à l’image d’entrée.

Étape 2 : affiner les paramètres de débruitage

Pour obtenir l’équilibre souhaité entre l’image d’origine et le style artistique :

Commencez par une valeur de débruitage de 0.5 pour une diffusion modérée.
Réduisez progressivement la valeur de débruitage par petits paliers (p. ex., 0.45, 0.44) pour affiner les détails tout en préservant l’image d’origine.
Évitez les valeurs proches de 0.0, car elles produiront des résultats presque identiques à l’image d’entrée.

Étape 3 : utiliser le planificateur Karras pour plus d’efficacité

Le planificateur Karras permet d’utiliser moins d’étapes tout en conservant des résultats de haute qualité. Par exemple :

30 étapes: produit des résultats détaillés et raffinés.
8 étapes: génère des compositions plus rapides et plus aléatoires.

Exemples de résultats

Comparaison des valeurs de débruitage

À partir d’une image de paysage montagneux, les résultats suivants ont été observés :

Débruitage 1.0: peinture à l’aquarelle entièrement stylisée, sans ressemblance avec l’image d’origine.

Débruitage 0.5: rendu artistique équilibré, avec des sommets reconnaissables.

Débruitage 0.3: presque identique à l’image d’origine, avec de subtiles améliorations artistiques.

Débruitage 0.0: image purement rééchantillonnée, impossible à distinguer de l’entrée.

Impact de l’échelle CFG

Avec une échelle CFG de 10 et un débruitage de 0.4, l’image finale a conservé le style artistique tout en correspondant fidèlement aux détails de la photo d’origine. Toutefois, augmenter trop la CFG (p. ex., CFG 12 avec un débruitage de 1.0) a entraîné un surapprentissage et des résultats irréalistes.

Conseils pour affiner les réglages

Expérimenter avec l’échelle CFG:
- Commencez par une valeur modérée (p. ex., 8) et ajustez-la en fonction du résultat souhaité.
- Évitez les valeurs excessivement élevées, sauf si le prompt exige une forte influence.
Utiliser des prompts négatifs:
- Éliminez les éléments indésirables comme les bâtiments, les véhicules ou les objets artificiels.
Optimiser les étapes avec le planificateur Karras:
- Utilisez moins d’étapes (p. ex., 8) pour des résultats plus rapides.
- Augmentez les étapes (p. ex., 30) pour des résultats détaillés.
Ajuster les valeurs de débruitage par itérations:
- Affinez les paramètres de débruitage par petits paliers (p. ex., 0.5 → 0.45 → 0.44) pour obtenir le meilleur équilibre.

Conclusion

Le prompting et l’échelle CFG sont des outils puissants dans les flux de travail image vers image, qui permettent aux utilisateurs de contrôler le style artistique et la fidélité des images générées. En ajustant soigneusement des paramètres comme la force de débruitage, l’échelle CFG et les réglages de l’échantillonneur, les utilisateurs peuvent créer des transformations saisissantes qui respectent l’image d’origine tout en intégrant des améliorations créatives.

Si vous souhaitez approfondir les flux de travail image vers image, relisez notre article précédent et expérimentez les techniques décrites ici pour affiner davantage vos résultats.