C20 : Maîtriser la transformation image vers image dans ComfyUI

Introduction

La transformation image vers image est une technique puissante utilisée dans les modèles génératifs pilotés par l’IA pour modifier ou améliorer des images en les convertissant dans un espace latent et en appliquant des processus de diffusion. Contrairement à un départ à partir du bruit, cette approche permet de travailler avec des images existantes et de réaliser des transformations qui respectent le contenu d’origine tout en intégrant des changements stylistiques. Cet article explique comment configurer un flux de travail image vers image dans ComfyUI et explore des paramètres clés, comme les valeurs de débruitage, pour obtenir des résultats optimaux.

---

---

Qu’est-ce que la transformation image vers image ?

La transformation image vers image s’appuie sur un autoencodeur variationnel (VAE) pour encoder une image dans l’espace latent, où des modifications peuvent être appliquées à l’aide de techniques de diffusion. L’image latente est ensuite décodée vers l’espace des pixels, produisant une nouvelle image qui reflète les changements appliqués. Cette méthode est particulièrement utile pour des tâches telles que le transfert de style, la restauration d’images et les modifications créatives.

---

Configurer le flux de travail dans ComfyUI

Pour créer un flux de travail image vers image dans ComfyUI, suivez ces étapes :

Étape 1 : charger l’image

1. Ajoutez un Load Image Node :
   • Double-cliquez dans l’interface ComfyUI et saisissez LOAD.
   • Sélectionnez le Load Image Node.
   • Cliquez pour téléverser votre fichier image.
   • Accédez au fichier image souhaité et cliquez sur Open. L’image sera copiée dans le dossier d’entrée de ComfyUI.
2. Vérifiez l’emplacement de l’image :
   • Vérifiez le répertoire d’installation de ComfyUI, dans le dossier input.
   • Supprimez régulièrement les anciens fichiers pour garder un espace organisé.

---

Étape 2 : mettre l’image à l’échelle

La plupart des modèles génératifs exigent que les images respectent des paramètres de résolution précis. Pour redimensionner l’image :

1. Ajoutez un Upscale Image Node :
   • Double-cliquez et saisissez UPSCALE.
   • Sélectionnez le Upscale Image Node.
   • Connectez ce nœud entre le Load Image Node et le VAE Encode Node.
2. Définissez les paramètres de résolution :
   • Ajoutez un Resolution Selector Node.
   • Convertissez les widgets de largeur et de hauteur en entrées en cliquant dessus avec le bouton droit.
   • Indiquez les valeurs de largeur et de hauteur souhaitées.

---

Étape 3 : encoder l’image dans l’espace latent

1. Ajoutez un VAE Encode Node :
   • Double-cliquez et saisissez VAE.
   • Sélectionnez le VAE Encode Node.
   • Connectez la sortie latente de ce nœud à l’entrée d’image latente du K-Sampler Node.
2. Assurez-vous que le checkpoint du modèle fournit la VAE requise.

---

Étape 4 : configurer les paramètres de l’échantillonneur

Le K-Sampler Node permet de contrôler les paramètres clés du processus de diffusion :

• Étapes: augmentez le nombre d’étapes pour une meilleure qualité (p. ex., 30 étapes).
• CFG Scale: définissez l’échelle de guidage sans classifieur (p. ex., 8.0) pour équilibrer la fidélité au prompt et à l’image latente.
• Type d’échantillonneur: utilisez Euler pour des résultats cohérents.
• Force de débruitage: ajustez la valeur de débruitage pour contrôler la quantité de bruit ajoutée et supprimée pendant le processus de diffusion.

---

Comprendre les valeurs de débruitage

Le paramètre de force de débruitage détermine dans quelle mesure l’image d’origine est modifiée pendant le processus de diffusion. Voici un récapitulatif des résultats selon les différentes valeurs de débruitage :

• 1.00: remplace complètement l’image d’origine par du contenu généré. C’est idéal pour créer des images entièrement nouvelles à partir du prompt de style.
• 0.5: équilibre l’image d’origine et les modifications stylistiques. C’est utile pour préserver les caractéristiques clés tout en appliquant des changements artistiques.
• 0.2: modifie à peine l’image d’origine, garantissant une grande fidélité à l’image d’entrée tout en appliquant de subtiles améliorations stylistiques.
• 0.0: reproduit pour l’essentiel l’image d’origine, avec de légères variations dues au processus de codage et de décodage.

Exemples de résultats

En utilisant une image de Pinnacles en entrée, les résultats suivants ont été observés :

Image d’origine :

• Débruitage 1.00: a généré une image entièrement nouvelle.

• Débruitage 0.5: a produit une version picturale de Pinnacles , mais avec de légers écarts par rapport à la photo d’origine.

• Débruitage 0.2: a obtenu une grande similitude avec l’image d’entrée, tout en respectant le prompt de style.

• Débruitage 0.0: a reproduit la photo d’origine, bien que légèrement diffuse en raison du traitement dans l’espace latent.

---

Conseils pour des résultats optimaux

1. Choisir la bonne valeur de débruitage:
   • Pour des transformations importantes : utilisez des valeurs proches de 1.00.
   • Pour des changements subtils : utilisez des valeurs comprises entre 0.2 et 0.5.
   • Pour préserver l’image d’origine : utilisez des valeurs proches de 0.0.
2. Affiner votre prompt:
   • Indiquez clairement les instructions de style.
   • Évitez d’inclure des instructions liées au contenu si vous souhaitez que l’image d’origine prédomine.
3. Surveiller le biais des données d’entraînement:
   • Sachez que les ensembles de données d’entraînement peuvent influencer le résultat. Par exemple, les perspectives courantes dans les données d’entraînement peuvent écraser les caractéristiques uniques de votre image d’entrée.

---

Comparaison de l’image d’origine et de l’image finale

Après avoir traité l’image de Pinnacles avec une valeur de débruitage de 0.2, le résultat correspondait fidèlement à la photo d’origine tout en appliquant des améliorations artistiques. Cela démontre l’efficacité de la transformation image vers image pour associer les prompts de style aux images d’entrée.

---

Conclusion

La transformation image vers image dans ComfyUI offre un moyen flexible et puissant de modifier des images grâce à la diffusion dans l’espace latent. En configurant soigneusement les nœuds et les paramètres, les utilisateurs peuvent obtenir des résultats allant d’améliorations subtiles à des transformations complètes. L’ajustement de la valeur de débruitage est essentiel pour équilibrer l’image d’origine et les modifications stylistiques.