Einführung
Das Erstellen effektiver Prompts für KI-Modelle wie Stable Diffusion ist sowohl Kunst als auch Wissenschaft. Bekannt als Prompt Engineering umfasst dieser Prozess das sorgfältige Gestalten von Texteingaben, um die KI zur Erzeugung der gewünschten Ausgabe zu führen. Auch wenn es wie das Schreiben natürlicher Sprache erscheinen mag, stecken hinter den Kulissen Tokenisierung und Gewichtung, was es eher dem Programmieren als dem lockeren Schreiben annähert.
In diesem Tutorial erkunden wir, wie man effektive Text-Prompts in ComfyUI schreibt, mit Fokus auf bewährte Verfahren, Tokenisierung, Gewichtungstechniken und die Verwendung von „Zauberwörtern“, um konsistente, hochwertige Ergebnisse zu erzielen.
Was ist Prompt Engineering?
Prompt Engineering ist der Prozess der Gestaltung von Eingaben (Prompts), die die Ausgabe der KI beeinflussen. Bei Modellen wie Stable Diffusion, die das CLIP-Modell für die Text-zu-Bild-Generierung verwenden, wird der Prompt in Tokens zerlegt – mathematische Darstellungen von Wörtern oder Phrasen. Diese Tokens werden dann an den Sampler übergeben, um den Bilderzeugungsprozess zu steuern.
Das Verständnis der Tokenisierung und die effektive Strukturierung von Prompts sind der Schlüssel zur Beherrschung der Möglichkeiten von ComfyUI.
Wie Tokenisierung in Stable Diffusion funktioniert
Spracheinheiten
Das CLIP-Modell verarbeitet Prompts als Spracheinheiten, die Folgendes sein können:
- Wörter (e.g., “sunset”)
- Kurze Phrasen (e.g., “golden hour lighting”)
- Akronyme oder Initialismen (e.g., “HDR”)
Diese Spracheinheiten werden in Tokens umgewandelt, mathematische Werte, die die KI zur Interpretation Ihres Prompts verwendet.
Token-Limits
Prompts werden in Gruppen von 77 Tokens gruppiert, einschließlich eines Tokens für Anfang und Ende der Sequenz. Wenn Ihr Prompt 75 Tokens überschreitet, werden zusätzliche Gruppen von 77 Tokens erstellt. Dies kann jedoch die Wirksamkeit jedes Tokens verwässern und die Fähigkeit der KI verringern, Ihren Prompt zu „verstehen“.
Optimale Token-Anzahl
Der Sweet Spot für Prompts liegt bei etwa 30 Tokens. Dies stellt sicher, dass alle Tokens effektiv gewichtet werden und Ihr Prompt prägnant und wirkungsvoll bleibt.
Bewährte Verfahren für effektive Prompts
Um konsistente und hochwertige Ergebnisse in ComfyUI zu erzielen, befolgen Sie diese bewährten Verfahren:
1. Verwenden Sie ein Rahmengerüst
Beginnen Sie Ihren Prompt mit der Art des Bildes , das Sie erzeugen möchten. Dies setzt den Kontext für die KI.
Beispiele:
- “Oil painting of…”
- “Cinematic still of…”
- “Digital illustration of…”
- “Hyperrealistic 3D render of…”
- “Photograph of…”
- “Anime-style drawing of…”
2. Beschreiben Sie das Motiv
Definieren Sie das Motiv des Bildes klar, einschließlich Details wie:
- Was es ist (e.g., “a medieval castle”)
- Wo es sich befindet (e.g., “on a cliff overlooking the ocean”)
- Wie es positioniert ist (e.g., “surrounded by mist”).
Beispiele:
- “A futuristic cityscape with glowing neon signs”
- “A serene forest with sunlight filtering through the trees”
- “An elegant woman in a flowing dress standing in a garden”
3. Licht und Effekte einbeziehen
Geben Sie Lichtverhältnisse und Kameraeffekte an, um Tiefe und Realismus hinzuzufügen.
Beispiele:
- “Soft golden hour lighting”
- “Moody shadows and highlights”
- “Lens flare effect”
- “Dynamic lighting with volumetric fog”
- “Backlit subject with rim lighting”
4. Farbpalette definieren
Nennen Sie bestimmte Farben oder Töne, um eine stimmige Ästhetik zu schaffen.
Beispiele:
- “Muted earth tones with hints of gold and silver”
- “Vibrant neon colors against a dark background”
- “Cool blue and green hues with warm orange accents”
5. Prompts prägnant halten
Vermeiden Sie übermäßig lange Prompts. Verwenden Sie Schlüsselwörter und kurze Phrasen, um Ihre Absicht zu vermitteln, ohne das Token-Limit zu überschreiten.
Zauberwörter für ComfyUI-Prompts
Um die Qualität und Spezifität Ihrer Prompts zu verbessern, verwenden Sie Zauberwörter– Schlüsselwörter oder Phrasen, von denen bekannt ist, dass sie gut mit Stable Diffusion funktionieren. Diese Wörter helfen der KI, Ihre Absicht genauer zu interpretieren.
Kunststile
- “Hyperrealistic”
- “Photorealistic”
- “Surrealism”
- “Impressionist”
- “Cyberpunk”
- “Steampunk”
- “Fantasy art”
- “Baroque”
- “Abstract art”
- “Minimalist”
Licht und Effekte
- “Volumetric lighting”
- “God rays”
- “Dynamic shadows”
- “Bokeh effect”
- “Soft focus”
- “High contrast lighting”
- “HDR”
- “Bloom effect”
- “Cinematic lighting”
- “Studio lighting”
Texturen und Details
- “Ultra-detailed”
- “Intricate patterns”
- “Fine textures”
- “Smooth gradients”
- “Sharp focus”
- “Highly stylized”
- “Grainy texture”
- “Metallic sheen”
- “Glass reflections”
Komposition und Stimmung
- “Symmetrical composition”
- “Dynamic angles”
- “Atmospheric perspective”
- “Dreamlike ambiance”
- “Ethereal glow”
- “Dark and moody”
- “Bright and cheerful”
- “Epic scale”
- “Cinematic framing”
Motivbeschreibungen
- “Majestic landscape”
- “Elegant portrait”
- “Futuristic architecture”
- “Mystical creature”
- “Ancient ruins”
- “Peaceful meadow”
- “Cosmic nebula”
- “Underwater scene”
- “Alien world”
Kamerawinkel
- “Close-up shot”
- “Wide-angle view”
- “Overhead perspective”
- “Low-angle shot”
- “Macro photography”
- “Tilt-shift effect”
- “Panoramic view”
Token-Gewichtung verstehen
Die Reihenfolge der Tokens in Ihrem Prompt bestimmt deren Gewichtung, wobei frühere Tokens einflussreicher sind. Sie können die Token-Gewichtung jedoch manuell anpassen, um die Ausgabe feinabzustimmen.
1. Implizite Gewichtung
Standardmäßig haben Tokens am Anfang des Prompts mehr Gewicht als die am Ende. Eine Umstellung der Token-Reihenfolge kann das Ergebnis erheblich verändern.
2. Explizite Gewichtung
Sie können das Gewicht bestimmter Tokens manuell mit runden Klammern () oder eckigen Klammern [] anpassen.
- Runde Klammern erhöhen das Gewicht:
(golden hour lighting) - Eckige Klammern verringern das Gewicht:
[golden hour lighting] - Doppelte runde Klammern verstärken das Gewicht noch weiter:
((golden hour lighting))
Beispiel:
- “A majestic castle surrounded by mist, (soft golden hour lighting), [lens flare effect]”
Abschließende Tipps zum Schreiben von Prompts in ComfyUI
- Mit Zauberwörtern experimentieren: Kombinieren Sie Kunststile, Licht, Effekte und Texturen, um die perfekte Kombination für Ihre Vision zu finden.
- Prompt verfeinern: Testen und optimieren Sie Ihren Prompt schrittweise, um das gewünschte Ergebnis zu erzielen.
- Negative Prompts verwenden: Geben Sie Elemente an, die Sie ausschließen möchten (z. B. „blurry details“, „low-quality textures“).
- Innerhalb der Token-Limits bleiben: Halten Sie Ihren Prompt prägnant, um die Wirksamkeit der Tokens nicht zu verwässern.
Wenn Sie diese Techniken beherrschen und Zauberwörter einbauen, schöpfen Sie das volle Potenzial von ComfyUI aus und erzeugen beeindruckende, hochwertige Bilder mit Stable Diffusion!