L’inpainting est une technique essentielle de la génération d’art par IA, en particulier lorsque des compositions précises, plusieurs sujets ou des designs complexes sont nécessaires.L’inpainting avec des modèles spécialisés permet aux créateurs de surmonter les limites des prompts textuels, qui peuvent souvent conduire à des résultats inattendus ou ignorés lorsqu’ils dépassent 30 tokens. Cet article explore le processus d’inpainting, en se concentrant sur les modèles Stable Diffusion, et propose des conseils concrets pour améliorer votre flux de travail.
Sommaire
Qu’est-ce que l’inpainting et pourquoi est-ce important ?
L’inpainting consiste à modifier des zones précises d’une image existante tout en préservant le contenu environnant. Cette technique est précieuse lorsqu’un prompt seul ne permet pas d’obtenir les résultats souhaités, car elle permet de décomposer le processus de génération en étapes gérables.
Par exemple, vous pouvez d’abord créer une image d’arrière-plan, puis utiliser l’inpainting pour insérer un sujet au premier plan, comme un personnage ou un objet. Cette approche par couches garantit un meilleur contrôle de la composition et évite les écueils d’une surcharge de l’encodeur de texte.
Le rôle des modèles d’inpainting spécialisés
Les modèles d’inpainting spécialisés sont entraînés spécifiquement à cette fin et offrent de meilleurs résultats que les modèles généraux. Par exemple, si vous avez utilisé le modèle Realistic Vision 5.1 pour générer votre arrière-plan, l’associer au modèle d’inpainting Realistic Vision 5.1 correspondant donnera les meilleurs résultats. Ces modèles sont généralement disponibles sur des plateformes comme Civitai.
Configuration essentielle pour les modèles d’inpainting :
- Installation du modèle: assurez-vous que le modèle d’inpainting est placé dans le bon dossier. Pour ComfyUI, cela signifie le placer dans le dossier
models/Checkpointplutôt que dans le dossiermodels/Inpainting. - Compatibilité de résolution: utilisez des images dont les résolutions correspondent aux dimensions natives du modèle (p. ex., 512×512 pour Realistic Vision 5.1). Des résolutions incompatibles peuvent entraîner des résultats déformés.
Flux de travail d’inpainting pas à pas dans ComfyUI
1. Charger le modèle d’inpainting
- Ouvrez ComfyUI et chargez le modèle d’inpainting dans le nœud Load Checkpoint.
- Vérifiez que le modèle inclut la VAE (autoencodeur variationnel) pour des performances optimales.
2. Préparer l’image de base
- Utilisez un nœud Load Image pour téléverser votre image d’arrière-plan préparée.
- Assurez-vous que la résolution de l’image correspond aux réglages optimaux du modèle.
3. Configurer l’encodage VAE pour l’inpainting
- Ajoutez un nœud VAE Encode for Inpainting à votre flux de travail. Ce nœud relie l’image latente au KSampler et accepte trois entrées :
- VAE: connectez-la depuis le nœud Checkpoint.
- Pixels: connectez-la depuis le nœud Load Image.
- Mask: connectez-la depuis le nœud Load Image pour indiquer la zone à modifier.
4. Créer et modifier le masque
- Cliquez avec le bouton droit sur le nœud Load Image et sélectionnez Open in Mask Editor.
- Utilisez le pinceau circulaire pour dessiner la zone où l’inpainting aura lieu. Ajustez la taille du pinceau avec les touches
[ ]. - Enregistrez le masque dans le nœud une fois terminé.
Conseil de pro: la forme du masque n’est qu’une indication générale de l’endroit où le nouveau sujet sera placé. Elle ne définit pas les contours exacts du sujet.
5. Définir le prompt
- Rédigez un prompt clair et concis, par exemple :
« Un bateau sur l’océan. » - Utilisez un prompt négatif pour exclure les éléments indésirables, p. ex.,« laid, déformé, grotesque. »
6. Générer et affiner
- Mettez le flux de travail en file d’attente et examinez le résultat. Si le résultat n’est pas satisfaisant :
- Ajustez la taille ou la forme du masque.
- Générez à nouveau la graine de façon aléatoire.
- Expérimentez avec différents prompts ou paramètres.
Remarque: des zones de masque plus petites peuvent entraîner des résultats déformés, car elles n’utilisent qu’une partie limitée de l’espace latent du modèle. Pour de meilleurs résultats, essayez d’agrandir le masque ou d’augmenter la résolution.
L’ensemble du flux de travail
Image d’origine :
Inpainting :
Résolution des problèmes courants
- Résultats flous ou déformés:
- Assurez-vous que la résolution de l’image correspond aux spécifications du modèle.
- Utilisez une zone de masque plus grande pour réduire les déformations.
- Résultats irréalistes ou peu naturels:
- Générez à nouveau la graine de façon aléatoire et affinez le masque.
- Utilisez un modèle d’inpainting spécialisé compatible avec votre modèle de base.
- Limites du modèle:
- Si le modèle d’inpainting peine avec les petits détails, envisagez de diviser la tâche en étapes plus petites ou d’utiliser des images de plus haute résolution.
Ressources supplémentaires
Conclusion
L’inpainting avec des modèles spécialisés comme Realistic Vision 5.1 offre un contrôle inégalé sur les compositions générées par l’IA. En suivant les étapes décrites ci-dessus, vous pouvez obtenir des résultats précis et visuellement attrayants. N’oubliez pas d’expérimenter avec les masques, les prompts et les graines pour affiner davantage votre flux de travail.