Introduction
Créer des prompts efficaces pour des modèles d'IA comme Stable Diffusion relève à la fois de l'art et de la science. Connu sous le nom d' ingénierie des prompts, ce processus consiste à concevoir soigneusement des entrées textuelles pour guider l'IA vers la production du résultat souhaité. Même si cela peut ressembler à de l'écriture en langage naturel, les mécanismes sous-jacents impliquent la tokenisation et la pondération, ce qui le rapproche davantage de la programmation que de l'écriture informelle.
Dans ce tutoriel, nous verrons comment rédiger des prompts textuels efficaces dans ComfyUI, en nous concentrant sur les meilleures pratiques, la tokenisation, les techniques de pondération et l'incorporation de « mots magiques » pour vous aider à générer des résultats cohérents et de haute qualité.
Qu'est-ce que l'ingénierie des prompts ?
L'ingénierie des prompts est le processus de conception d'entrées (prompts) qui influencent la sortie de l'IA. Pour des modèles comme Stable Diffusion, qui utilisent le modèle CLIP pour la génération de texte à image, le prompt est décomposé en tokens, des représentations mathématiques de mots ou de phrases. Ces tokens sont ensuite transmis à l'échantillonneur pour conditionner le processus de génération d'images.
Comprendre la tokenisation et structurer efficacement les prompts est essentiel pour maîtriser les capacités de ComfyUI.
Comment fonctionne la tokenisation dans Stable Diffusion
Unités de langage
Le modèle CLIP traite les prompts comme des unités de langage, qui peuvent être :
- Des mots (e.g., “sunset”)
- De courtes phrases (e.g., “golden hour lighting”)
- Des acronymes ou des sigles (e.g., “HDR”)
Ces unités de langage sont converties en tokens, qui sont des valeurs mathématiques utilisées par l'IA pour interpréter votre prompt.
Limites de tokens
Les prompts sont regroupés par groupes de 77 tokens, y compris un token pour le début et la fin de la séquence. Si votre prompt dépasse 75 tokens, des groupes supplémentaires de 77 tokens sont créés. Cependant, cela peut diluer l'efficacité de chaque token et réduire la capacité de l'IA à « comprendre » votre prompt.
Nombre optimal de tokens
Le point idéal pour les prompts se situe autour de 30 tokens. Cela garantit que tous les tokens sont pondérés efficacement et que votre prompt reste concis et percutant.
Meilleures pratiques pour rédiger des prompts efficaces
Pour obtenir des résultats cohérents et de haute qualité dans ComfyUI, suivez ces meilleures pratiques :
1. Utiliser un cadre de départ
Commencez votre prompt par le type d'image que vous souhaitez générer. Cela définit le contexte pour l'IA.
Exemples :
- “Oil painting of…”
- “Cinematic still of…”
- “Digital illustration of…”
- “Hyperrealistic 3D render of…”
- “Photograph of…”
- “Anime-style drawing of…”
2. Décrire le sujet
Définissez clairement le sujet de l'image, y compris des détails tels que :
- Ce que c'est (e.g., “a medieval castle”)
- Où il se trouve (e.g., “on a cliff overlooking the ocean”)
- Comment il est positionné (e.g., “surrounded by mist”).
Exemples :
- “A futuristic cityscape with glowing neon signs”
- “A serene forest with sunlight filtering through the trees”
- “An elegant woman in a flowing dress standing in a garden”
3. Inclure l'éclairage et les effets
Précisez les conditions d'éclairage et les effets d'appareil photo pour ajouter de la profondeur et du réalisme.
Exemples :
- “Soft golden hour lighting”
- “Moody shadows and highlights”
- “Lens flare effect”
- “Dynamic lighting with volumetric fog”
- “Backlit subject with rim lighting”
4. Définir la palette de couleurs
Mentionnez des couleurs ou des tons spécifiques pour créer une esthétique cohérente.
Exemples :
- “Muted earth tones with hints of gold and silver”
- “Vibrant neon colors against a dark background”
- “Cool blue and green hues with warm orange accents”
5. Garder les prompts concis
Évitez les prompts trop longs. Utilisez des mots-clés et de courtes phrases pour exprimer votre intention sans dépasser la limite de tokens.
Mots magiques pour les prompts ComfyUI
Pour améliorer la qualité et la spécificité de vos prompts, incorporez des mots magiques, des mots-clés ou des phrases dont on sait qu'ils fonctionnent bien avec Stable Diffusion. Ces mots aident l'IA à interpréter votre intention avec plus de précision.
Styles artistiques
- “Hyperrealistic”
- “Photorealistic”
- “Surrealism”
- “Impressionist”
- “Cyberpunk”
- “Steampunk”
- “Fantasy art”
- “Baroque”
- “Abstract art”
- “Minimalist”
Éclairage et effets
- “Volumetric lighting”
- “God rays”
- “Dynamic shadows”
- “Bokeh effect”
- “Soft focus”
- “High contrast lighting”
- “HDR”
- “Bloom effect”
- “Cinematic lighting”
- “Studio lighting”
Textures et détails
- “Ultra-detailed”
- “Intricate patterns”
- “Fine textures”
- “Smooth gradients”
- “Sharp focus”
- “Highly stylized”
- “Grainy texture”
- “Metallic sheen”
- “Glass reflections”
Composition et ambiance
- “Symmetrical composition”
- “Dynamic angles”
- “Atmospheric perspective”
- “Dreamlike ambiance”
- “Ethereal glow”
- “Dark and moody”
- “Bright and cheerful”
- “Epic scale”
- “Cinematic framing”
Descriptions du sujet
- “Majestic landscape”
- “Elegant portrait”
- “Futuristic architecture”
- “Mystical creature”
- “Ancient ruins”
- “Peaceful meadow”
- “Cosmic nebula”
- “Underwater scene”
- “Alien world”
Angles de caméra
- “Close-up shot”
- “Wide-angle view”
- “Overhead perspective”
- “Low-angle shot”
- “Macro photography”
- “Tilt-shift effect”
- “Panoramic view”
Comprendre la pondération des tokens
L' ordre des tokens dans votre prompt détermine leur poids, les premiers tokens étant plus influents. Cependant, vous pouvez ajuster manuellement le poids des tokens pour affiner le résultat.
1. Pondération implicite
Par défaut, les tokens situés au début du prompt ont plus de poids que ceux de la fin. Réorganiser l'ordre des tokens peut modifier considérablement le résultat.
2. Pondération explicite
Vous pouvez ajuster manuellement le poids de tokens spécifiques à l'aide de parenthèses () ou de crochets [].
- Les parenthèses augmentent le poids :
(golden hour lighting) - Les crochets réduisent le poids :
[golden hour lighting] - Les doubles parenthèses amplifient encore le poids :
((golden hour lighting))
Exemple :
- “A majestic castle surrounded by mist, (soft golden hour lighting), [lens flare effect]”
Derniers conseils pour rédiger des prompts dans ComfyUI
- Expérimenter avec les mots magiques: combinez styles artistiques, éclairage, effets et textures pour trouver la combinaison parfaite pour votre vision.
- Affiner votre prompt: testez et ajustez votre prompt de manière itérative pour obtenir le résultat souhaité.
- Utiliser des prompts négatifs: précisez les éléments que vous souhaitez exclure (p. ex., « blurry details », « low-quality textures »).
- Rester dans les limites de tokens: gardez votre prompt concis pour éviter de diluer l'efficacité des tokens.
En maîtrisant ces techniques et en incorporant des mots magiques, vous libérerez tout le potentiel de ComfyUI et générerez des visuels époustouflants et de haute qualité avec Stable Diffusion !