Introduction
Dans notre article précédent, nous avons exploré comment ControlNet peut être utilisé dans les flux de travail ComfyUI pour diriger la composition d'images à l'aide d'entrées externes comme les dessins au trait. Bien que cette approche nous ait permis d'obtenir un placement précis des objets, les résultats n'étaient pas toujours satisfaisants en raison des paramètres par défaut de ControlNet. Par exemple, le chien généré suivait les contours d'un simple gribouillage, mais manquait de précision anatomique et de proportions naturelles.
Cet article s'appuie sur cette base en approfondissant le réglage des paramètres de ControlNet, ce qui vous permet de trouver l'équilibre parfait entre la composition souhaitée et les propriétés intrinsèques du modèle de diffusion. En ajustant des paramètres tels que strength, start percent et end percent, vous pouvez affiner les résultats pour obtenir à la fois des détails réalistes et des compositions précises.
Pourquoi le réglage fin est important
Les paramètres par défaut de ControlNet appliquent l'entrée externe (par exemple, un dessin au trait) à pleine intensité tout au long du processus de diffusion. Bien que cela garantisse que l'image générée suive fidèlement l'entrée, cela peut produire des résultats peu naturels si l'entrée est imprécise ou trop simpliste. Par exemple :
- Influence excessive : l'image générée pourrait adhérer trop strictement au croquis d'entrée, au détriment du réalisme.
- Composition perdue : réduire excessivement l'influence de ControlNet peut amener le modèle à ignorer complètement l'entrée et à modifier la disposition prévue.
Le réglage fin vous permet de contrôler l'influence de ControlNet aux différentes étapes du processus de diffusion, garantissant un équilibre entre composition et réalisme.
Paramètres clés de ControlNet
1. Intensité
Le strength détermine l'influence de l'entrée externe sur l'image générée.
- Intensité élevée : l'image suit fidèlement l'entrée, mais peut sacrifier le réalisme.
- Intensité faible : l'image intègre davantage les propriétés intrinsèques du modèle de diffusion, mais peut s'écarter de la composition prévue.
2. Pourcentage de début
Le start percent définit le moment où ControlNet commence à influencer le processus de diffusion.
- Pour la plupart des flux de travail, il est réglé sur 0 pour garantir que l'influence de ControlNet commence dès la toute première étape.
3. Pourcentage de fin
Le end percent contrôle le moment où ControlNet cesse d'influencer le processus de diffusion.
- Réduire ce paramètre permet au modèle de prendre le relais dans les étapes ultérieures, améliorant le réalisme tout en respectant la composition initiale.
Guide étape par étape pour régler les paramètres de ControlNet
Étape 1 : Ajuster l'intensité
Commencez par expérimenter le paramètre strength :
- Réglez l'intensité sur 1.0 (influence maximale) et mettez le flux de travail en file d'attente.
- Observez à quel point l'image générée suit le dessin d'entrée.
- Dans ce cas, les proportions du chien sont peu naturelles car le modèle adhère trop strictement au croquis imprécis.
- Réduisez l'intensité à 0.5 (moitié de l'influence) et remettez le flux de travail en file d'attente.
- Comparez les résultats dans l'onglet d'historique.
- Avec ce réglage, l'anatomie s'améliore, mais la composition peut encore être légèrement compromise.
- Réduisez encore l'intensité à 0.2 et observez les changements.
- L'image générée intègre désormais davantage les propriétés intrinsèques du modèle de diffusion, ce qui donne une meilleure anatomie.
- Cependant, la composition peut s'écarter subtilement de l'entrée d'origine.
- Essayez des intensités encore plus faibles (par exemple, 0.1) pour trouver le seuil à partir duquel l'influence de ControlNet devient négligeable.
Étape 2 : Ajuster le pourcentage de fin
Pour affiner l'équilibre entre composition et réalisme, ajustez le paramètre end percent :
- Définissez la valeur suivante : start percent = 0 (par défaut).
- Commencez avec end percent de 1.0, en veillant à ce que l'influence de ControlNet persiste pendant toutes les étapes d'inférence.
- Il en résulte une image générée qui adhère strictement au dessin d'entrée.
- Réduisez la valeur suivante : end percent = 0.5, ce qui permet au modèle de diffusion de prendre le relais à mi-chemin du processus.
- Cela crée un équilibre entre le dessin d'entrée et les propriétés intrinsèques du modèle.
- Essayez avec end percent de 0.2, réduisant l'influence de ControlNet dans les dernières étapes du processus de diffusion.
- Avec ce réglage, la composition initiale est respectée, tandis que le modèle affine les détails pour un résultat plus réaliste.
Étape 3 : Combiner intensité et pourcentage de fin
Pour des résultats optimaux, réglez à la fois strength et end percent :
- Définissez la valeur suivante : strength = 0.35 et end percent = 0.35.
- Cette combinaison garantit que le dessin d'entrée influence la composition tout en permettant au modèle d'affiner les détails.
- Mettez le flux de travail en file d'attente et comparez les résultats avec les itérations précédentes.
- Avec ces réglages, le chien obtient une anatomie réaliste tout en préservant la composition prévue.
Résultats et observations
En affinant ces paramètres, vous pouvez obtenir :
- Anatomie réaliste : Le modèle de diffusion affine les proportions et les détails.
- Composition précise : La mise en page initiale du dessin d'entrée est respectée.
- Résultats équilibrés : L'image générée intègre à la fois l'entrée externe et les propriétés intrinsèques du modèle.
Par exemple :
- Intensité : 0.35, pourcentage de fin : 0.35 a donné le meilleur équilibre entre composition et réalisme dans cette étude de cas.
- Intensité : 1.0, pourcentage de fin : 0.2 a entraîné une influence excessive du dessin d'entrée, provoquant des traits non naturels.
Applications pratiques
L'affinage des paramètres de ControlNet est utile pour :
- Projets artistiques : Obtenir des compositions créatives tout en conservant des détails réalistes.
- Tâches de conception : Générer des images qui respectent des mises en page spécifiques ou des contraintes spatiales.
- Prototypage : Expérimenter différents niveaux d'influence pour affiner les résultats en vue de la production.
Conclusion
En ajustant des paramètres ControlNet tels que strength, start percent et end percent, vous pouvez atteindre un équilibre parfait entre la composition souhaitée et les propriétés intrinsèques du modèle de diffusion. Que vous travailliez sur des projets artistiques, des conceptions techniques ou du prototypage créatif, ces techniques vous permettent d'affiner vos flux de travail et de générer des résultats de haute qualité.
Dans le prochain article, nous explorerons des techniques avancées pour combiner plusieurs modèles ControlNet afin d'obtenir un contrôle encore plus grand sur la génération d'images.