Introduction
Dans notre article précédent, Optimiser la résolution d'inpainting dans ComfyUI, nous avons exploré des techniques pour améliorer la résolution dans les flux de travail d'inpainting utilisant des modèles spécialisés. Sur cette base, cet article se concentre sur l'inpainting avec des modèles de diffusion génériques, offrant une approche polyvalente pour les scénarios où les modèles d'inpainting spécialisés ne sont pas disponibles ou ne conviennent pas.
Ce guide vous accompagne pas à pas dans le processus et met en avant des nœuds clés tels que Set Latent Noise Mask et Remove Latent Mask pour obtenir des résultats impeccables. À la fin, vous comprendrez comment affiner les textures, équilibrer les paramètres de débruitage et adapter les flux de travail pour des résultats cohérents, tout en tirant parti de la flexibilité des modèles génériques.
Plongeons dans le flux de travail et explorons comment utiliser des modèles de diffusion génériques pour l'inpainting dans ComfyUI.
Table des matières
Pourquoi utiliser des modèles de diffusion génériques pour l'inpainting ?
- Limites des modèles spécialisés : Des modèles comme Flux.1 Schnell peuvent échouer dans certains scénarios, en particulier avec des modèles distillés.
- Avantages des modèles de diffusion génériques : Les modèles génériques, comme Juggernaut XL, offrent une compatibilité plus large et une meilleure qualité d'image dans les applications non commerciales.
- Cas d'utilisation idéal : Cette approche est parfaite pour préserver les textures d'origine tout en générant du nouveau contenu dans les zones masquées.
Flux de travail pas à pas pour l'inpainting avec des modèles de diffusion génériques
Étape 1 : Préparer l'image et le masque
- Charger l'image d'arrière-plan :
- Utilisez le nœud Load Image dans ComfyUI pour importer votre image.
- Créer le masque :
- Faites un clic droit sur l'image et choisissez Open in Mask Editor.
- Peignez sur la zone que vous souhaitez retoucher (par exemple, retirer une table).
Étape 2 : Configurer le graphe
- Ajouter des nœuds KSampler Advanced :
- Utilisez deux nœuds KSampler pour l'affinage :
- Le premier nœud effectue la majorité des étapes de diffusion (par exemple, 18 sur 20).
- Le second nœud rééchantillonne l'image pour assurer la cohérence (par exemple, 2 étapes).
- Configurez les prompts :
- Premier nœud : Précisez les détails de la zone retouchée (par exemple, “empty room, carpet textured”).
- Second nœud : Incluez le prompt complet pour correspondre à l'image d'origine.
- Utilisez deux nœuds KSampler pour l'affinage :
- Ajuster les paramètres de denoise :
- Pour les nœuds KSampler standard, définissez des valeurs de denoise entre 0.6 and 0.8 pour des résultats optimaux.
- Pour les nœuds avancés, contrôlez manuellement l'ajout de bruit pendant les étapes de diffusion.
Étape 3 : Utiliser Set Latent Noise Mask
- Objectif : Sépare les zones pour les opérations d'image à image et la génération de bruit aléatoire.
- Configuration :
- Connectez l'image latente de VAE Encode au nœud Set Latent Noise Mask.
- Connectez le masque du nœud Load Image au même nœud.
- Envoyez la sortie latente vers le premier nœud KSampler.
Étape 4 : Affiner le flux de travail avec Remove Latent Mask
- Objectif : Garantit que le processus de rééchantillonnage s'applique à l'image entière, et pas seulement aux zones masquées.
- Configuration :
- Installez le ComfyUI Essentials Node Pack via le Manager.
- Ajoutez le nœud Remove Latent Mask entre les deux nœuds KSampler.
Étape 5 : Comparer les résultats
- Ajoutez le nœud Image Comparer (disponible dans le pack de nœuds rgthree).
- Connectez l'image d'origine et la sortie décodée de VAE Decode aux entrées du comparateur.
- Développez le nœud comparateur pour analyser les différences avant/après.
Version optimisée :
Points clés pour optimiser les résultats
- Choix du modèle : Juggernaut XL offre des textures plus douces et un meilleur anticrénelage par rapport aux autres modèles.
- Valeurs de débruitage : Expérimentez avec des valeurs entre 0.6 and 0.8 pour une préservation équilibrée du contexte.
- Configuration des prompts : Utilisez des prompts ciblés pour les zones retouchées et des prompts complets pour assurer la cohérence du rééchantillonnage.
Conclusion
L'inpainting avec des modèles de diffusion génériques dans ComfyUI offre une alternative flexible et puissante aux flux de travail spécialisés. En tirant parti de nœuds comme Set Latent Noise Mask et Remove Latent Mask, vous pouvez obtenir des résultats impeccables qui préservent les textures d'origine tout en générant du nouveau contenu. Que vous travailliez sur des projets commerciaux ou non commerciaux, cette approche permet un meilleur contrôle de la qualité et de l'affinage des images.
Pour des techniques plus avancées et des conseils de dépannage, consultez notre article précédent sur Optimisation de la résolution d'inpainting dans ComfyUI.