Introduction
L’un des défis courants de la génération d’images par IA est d’obtenir une direction artistique précise. Bien que les prompts puissent guider le style général et le contenu d’une image, ils peinent souvent à contrôler des détails de composition précis, comme la direction à l’écran ou le placement des objets.
Dans cet article, nous verrons comment ControlNet peut être utilisé dans les flux de travail ComfyUI pour surmonter ces limites. En tirant parti des modèles ControlNet, vous pouvez guider la composition de vos images générées à l’aide d’entrées externes comme des dessins au trait ou des cartes de contours. Cette approche vous permet d’atteindre un degré supérieur de contrôle et de précision dans votre processus de génération d’images.
Table des matières
Le problème : les limites des prompts dans la composition
Prenons un exemple : générer l’image d’un chien tourné vers la droite de l’écran. Même avec un prompt soigneusement rédigé précisant “facing screen right,” l’image générée par le modèle de diffusion Juggernaut XL ne répond pas à cette exigence. Au lieu de regarder vers la droite de l’écran, le chien regarde vers la gauche.
Ce résultat met en évidence une limite majeure : les modèles de diffusion et les encodeurs de texte peinent souvent à comprendre les prompts spatiaux ou directionnels. La seule solution consisterait à essayer aléatoirement différentes graines jusqu’à obtenir la composition souhaitée — un processus long et inefficace.
Présentation de ControlNet
ControlNet apporte une solution en introduisant dans le flux de travail un conditioning externe basé sur l’image. Il fonctionne en analysant une image de référence et en appliquant sa structure ou sa composition à la sortie générée.
Les modèles ControlNet sont conçus pour fonctionner avec des modèles de diffusion précis. Pour cet exemple, nous utiliserons le modèle controlnet-scribble-sdxl-1.0, qui est compatible avec le modèle de diffusion affiné SDXL. Le Scribble ControlNet accepte de simples dessins au trait en entrée, ce qui le rend idéal pour guider approximativement la composition.
Configurer ControlNet dans ComfyUI
Étape 1 : télécharger et installer le modèle ControlNet
- Téléchargez le modèle controlnet-scribble-sdxl-1.0 depuis xinsir/controlnet-scribble-sdxl-1.0 at main, le nom d’origine est diffusion_pytorch_model.safetensors.
- Placez le fichier du modèle dans le répertoire suivant :
/models/controlnetet renommez-le controlnet-scribble-sdxl-1.0.safetensors, vous devrez redémarrer ComfyUI pour charger le fichier du modèle.
Étape 2 : construire le flux de travail
Dans ComfyUI, vous devrez créer un flux de travail qui intègre le modèle ControlNet dans votre processus de génération d’images.
Modèle d’origine :
Suivez ces étapes :
1. Charger le modèle ControlNet
- Ajoutez un nœud Load ControlNet Model.
- Sélectionnez le modèle controlnet-scribble-sdxl-1.0 dans la liste.
2. Apply ControlNet
- Ajoutez un nœud Apply ControlNet.
- Déconnectez le conditioning du nœud KSampler et redirigez-le plutôt via le nœud Apply ControlNet.
3. Charger l’image d’entrée
- Ajoutez un nœud Load Image.
- Téléversez votre dessin au trait (par ex., un simple croquis de la composition souhaitée).
- Connectez l’image au nœud Apply ControlNet.
4. Terminer les connexions
- Connectez le modèle ControlNet au nœud Apply ControlNet.
- Vous pouvez aussi connecter le VAE au nœud Apply ControlNet pour être complet (bien que cela n’affecte pas les résultats dans ce cas).
Étape 3 : générer l’image
Une fois votre flux de travail configuré, mettez-le en file d’attente pour générer l’image. ControlNet guidera la composition en fonction du dessin au trait téléversé.
Croquis d’origine :
Le prompt que j’utilise : nature photography, dog, standing on the grass, daylight, (bokeh:1.5)
Sortie :
Résultats et affinements
Sortie initiale
Avec le modèle ControlNet Scribble, le chien généré suit désormais la bonne composition. Cependant, l’influence de ControlNet est réglée au maximum par défaut, ce qui peut donner des résultats peu naturels si le dessin d’entrée est imprécis ou trop simpliste.
Par exemple, si le croquis téléversé manque de précision anatomique, l’image générée peut paraître artificielle ou déformée.
Équilibrer l’influence de ControlNet
Pour y remédier, vous pouvez ajuster les paramètres d’influence de ControlNet pour trouver un équilibre entre le dessin d’entrée et l’affinement naturel du modèle génératif. Cela permet au modèle de compléter les détails manquants tout en respectant la composition souhaitée.
Types de modèles ControlNet
ControlNet propose plusieurs variantes, chacune adaptée à des cas d’usage précis :
- Scribble ControlNet : accepte de simples dessins au trait pour guider approximativement la composition.
- Canny ControlNet : extrait les détails des contours d’une image d’entrée pour guider la composition.
- Depth ControlNet : analyse les informations de profondeur pour créer des images aux relations spatiales réalistes.
Selon vos besoins, vous pouvez choisir le modèle ControlNet approprié pour guider votre flux de travail.
Applications pratiques
ControlNet est particulièrement utile pour :
- Placement précis des objets : garantir que les objets apparaissent à des emplacements ou dans des orientations précis.
- Compositions personnalisées : obtenir des mises en page uniques, difficiles à décrire avec des prompts textuels seuls.
- Direction artistique : combiner des croquis ou des références externes avec l’IA générative pour des résultats créatifs.
Conclusion
L’utilisation de ControlNet dans les flux de travail ComfyUI permet un meilleur contrôle de la composition des images et pallie les limites de la génération basée sur les prompts. En intégrant des entrées externes comme des dessins au trait, vous pouvez guider le placement et l’orientation des objets avec précision.
À l’étape suivante, essayez d’équilibrer l’influence de ControlNet pour obtenir des résultats naturalistes et visuellement attrayants. Que vous travailliez sur des projets artistiques ou des tâches de conception précises, ControlNet ouvre de nouvelles possibilités pour la direction créative dans la génération d’images par IA.