Введение
Создание эффективных промптов для моделей ИИ, таких как Stable Diffusion, — это и искусство, и наука. Известный как промпт-инжиниринг, этот процесс включает тщательное составление текстовых входных данных, чтобы направить ИИ к созданию желаемого результата. Хотя это может выглядеть как написание на естественном языке, за кулисами работают токенизация и взвешивание, что делает его ближе к программированию, чем к обычному письму.
В этом руководстве мы рассмотрим, как писать эффективные текстовые промпты в ComfyUI, уделяя внимание лучшим практикам, токенизации, методам взвешивания и использованию «волшебных слов», чтобы помочь вам получать высококачественные и стабильные результаты.
Что такое промпт-инжиниринг?
Промпт-инжиниринг — это процесс проектирования входных данных (промптов), влияющих на вывод ИИ. Для моделей, таких как Stable Diffusion, которые используют модель CLIP для генерации изображений из текста, промпт разбивается на токены— математические представления слов или фраз. Затем эти токены передаются сэмплеру для управления процессом генерации изображений.
Понимание токенизации и эффективное структурирование промптов — ключ к освоению возможностей ComfyUI.
Как работает токенизация в Stable Diffusion
Языковые единицы
Модель CLIP обрабатывает промпты как языковые единицы, которыми могут быть:
- Слова (e.g., “sunset”)
- Короткие фразы (e.g., “golden hour lighting”)
- Акронимы или инициализмы (e.g., “HDR”)
Эти языковые единицы преобразуются в токены— математические значения, которые ИИ использует для интерпретации вашего промпта.
Ограничения на количество токенов
Промпты группируются в группы по 77 токенов, включая токен для начала и конца последовательности. Если ваш промпт превышает 75 токенов, создаются дополнительные группы по 77 токенов. Однако это может снизить эффективность каждого токена и способность ИИ «понять» ваш промпт.
Оптимальное количество токенов
Так называемая золотая середина для промптов — около 30 токенов. Это гарантирует, что все токены взвешиваются эффективно, а ваш промпт остаётся кратким и выразительным.
Лучшие практики написания эффективных промптов
Чтобы добиться стабильных и высококачественных результатов в ComfyUI, следуйте этим лучшим практикам:
1. Используйте обрамляющий приём
Начните промпт с типа изображения , которое вы хотите сгенерировать. Это задаёт контекст для ИИ.
Примеры:
- “Oil painting of…”
- “Cinematic still of…”
- “Digital illustration of…”
- “Hyperrealistic 3D render of…”
- “Photograph of…”
- “Anime-style drawing of…”
2. Опишите объект
Чётко определите объект изображения, включая такие детали, как:
- Что это такое (e.g., “a medieval castle”)
- Где это находится (e.g., “on a cliff overlooking the ocean”)
- Как это расположено (e.g., “surrounded by mist”).
Примеры:
- “A futuristic cityscape with glowing neon signs”
- “A serene forest with sunlight filtering through the trees”
- “An elegant woman in a flowing dress standing in a garden”
3. Укажите освещение и эффекты
Укажите условия освещения и эффекты камеры, чтобы добавить глубину и реалистичность.
Примеры:
- “Soft golden hour lighting”
- “Moody shadows and highlights”
- “Lens flare effect”
- “Dynamic lighting with volumetric fog”
- “Backlit subject with rim lighting”
4. Определите цветовую палитру
Упомяните конкретные цвета или тона, чтобы создать целостную эстетику.
Примеры:
- “Muted earth tones with hints of gold and silver”
- “Vibrant neon colors against a dark background”
- “Cool blue and green hues with warm orange accents”
5. Делайте промпты краткими
Избегайте слишком длинных промптов. Используйте ключевые слова и короткие фразы, чтобы передать свой замысел, не превышая лимит токенов.
Волшебные слова для промптов ComfyUI
Чтобы повысить качество и конкретность промптов, используйте волшебные слова— ключевые слова или фразы, которые, как известно, хорошо работают с Stable Diffusion. Эти слова помогают ИИ точнее интерпретировать ваш замысел.
Художественные стили
- “Hyperrealistic”
- “Photorealistic”
- “Surrealism”
- “Impressionist”
- “Cyberpunk”
- “Steampunk”
- “Fantasy art”
- “Baroque”
- “Abstract art”
- “Minimalist”
Освещение и эффекты
- “Volumetric lighting”
- “God rays”
- “Dynamic shadows”
- “Bokeh effect”
- “Soft focus”
- “High contrast lighting”
- “HDR”
- “Bloom effect”
- “Cinematic lighting”
- “Studio lighting”
Текстуры и детали
- “Ultra-detailed”
- “Intricate patterns”
- “Fine textures”
- “Smooth gradients”
- “Sharp focus”
- “Highly stylized”
- “Grainy texture”
- “Metallic sheen”
- “Glass reflections”
Композиция и настроение
- “Symmetrical composition”
- “Dynamic angles”
- “Atmospheric perspective”
- “Dreamlike ambiance”
- “Ethereal glow”
- “Dark and moody”
- “Bright and cheerful”
- “Epic scale”
- “Cinematic framing”
Описания объектов
- “Majestic landscape”
- “Elegant portrait”
- “Futuristic architecture”
- “Mystical creature”
- “Ancient ruins”
- “Peaceful meadow”
- “Cosmic nebula”
- “Underwater scene”
- “Alien world”
Ракурсы камеры
- “Close-up shot”
- “Wide-angle view”
- “Overhead perspective”
- “Low-angle shot”
- “Macro photography”
- “Tilt-shift effect”
- “Panoramic view”
Понимание взвешивания токенов
Именно порядок токенов в вашем промпте определяет их вес, причём более ранние токены влиятельнее. Однако вы можете вручную настроить вес токенов, чтобы точнее настроить результат.
1. Неявное взвешивание
По умолчанию токены в начале промпта имеют больший вес, чем в конце. Изменение порядка токенов может значительно изменить результат.
2. Явное взвешивание
Вы можете вручную настроить вес конкретных токенов с помощью круглых скобок () или квадратных скобок [].
- Круглые скобки увеличивают вес:
(golden hour lighting) - Квадратные скобки уменьшают вес:
[golden hour lighting] - Двойные круглые скобки усиливают вес ещё больше:
((golden hour lighting))
Пример:
- “A majestic castle surrounded by mist, (soft golden hour lighting), [lens flare effect]”
Финальные советы по написанию промптов в ComfyUI
- Экспериментируйте с волшебными словами: сочетайте художественные стили, освещение, эффекты и текстуры, чтобы найти идеальную комбинацию для вашего замысла.
- Дорабатывайте промпт: итеративно тестируйте и корректируйте промпт, чтобы добиться желаемого результата.
- Используйте негативные промпты: указывайте элементы, которые хотите исключить (например, «blurry details», «low-quality textures»).
- Оставайтесь в пределах лимита токенов: делайте промпт кратким, чтобы не снижать эффективность токенов.
Освоив эти методы и используя волшебные слова, вы раскроете весь потенциал ComfyUI и сможете генерировать потрясающие высококачественные изображения с помощью Stable Diffusion!