C21: Осваиваем промпты image-to-image и шкалу CFG в ComfyUI

Введение

В нашей предыдущей статье «Image-to-Image Transformation in ComfyUI» мы рассмотрели основы построения рабочего процесса image-to-image. Мы обсудили, как диффузия в латентном пространстве позволяет выполнять творческие преобразования, сохраняя при этом важные элементы входного изображения. Если вы новичок в ComfyUI или рабочих процессах image-to-image, рекомендуем сначала прочитать эту статью, чтобы разобраться в основах.

В этом продолжении мы подробнее рассмотрим составление промптов, шкалу Classifier-Free Guidance (CFG) и силу шумоподавления— три важнейших фактора, влияющих на качество и стиль создаваемых изображений. Оптимизировав эти параметры, можно достичь идеального баланса между художественной креативностью и верностью исходному изображению.

Что такое шкала CFG и почему она важна?

Шкала Classifier-Free Guidance (CFG)— ключевой параметр в рабочих процессах генеративного ИИ, определяющий, насколько строго модель следует заданному промпту. Более высокая шкала CFG усиливает влияние промпта, а более низкая позволяет модели вносить больше случайности из её латентного пространства.

Шкала CFG особенно важна в рабочих процессах image-to-image, где нужно сохранить конкретные детали входного изображения, внося при этом стилистические изменения.

Ключевые параметры промптинга image-to-image

1. Составление эффективных промптов

При создании промптов для рабочих процессов image-to-image важно включать элементы как содержания, так и стиля. Хорошо составленный промпт гарантирует, что модель создаст изображения, соответствующие вашему творческому замыслу.

Примеры промптов:

Промпт содержания:
Величественные горные вершины, пышные зелёные долины, золотой солнечный свет, пробивающийся сквозь облака, атмосферная дымка, безмятежность и спокойствие.
Промпт стиля:
Акварельная живопись, мягкие мазки кисти, яркая, но естественная цветовая палитра, художественное впечатление.
Негативный промпт:
Никаких зданий, транспортных средств, людей и искусственных объектов.

Негативные промпты крайне важны для устранения нежелательных элементов, которые могут испортить задуманную композицию.

2. Сила шумоподавления

Параметр силы шумоподавления определяет, насколько исходное изображение будет перезаписано в процессе генерации.

Высокое шумоподавление (например, 1.0): полностью преобразует входное изображение на основе промпта.
Среднее шумоподавление (например, 0.5): уравновешивает входное изображение и стилистические изменения.
Низкое шумоподавление (например, 0.0–0.3): сохраняет большую часть исходного изображения, внося минимальные художественные изменения.

3. Настройки планировщика и сэмплера

ComfyUI предлагает множество сэмплеров и планировщиков для точной настройки процесса генерации изображений:

Сэмплер DPM++2M: известен точностью и высококачественными результатами.
Планировщик Karras: оптимизирован для более быстрых результатов при меньшем числе шагов, с акцентом на начальные этапы диффузии.

Оптимизация рабочего процесса

Шаг 1. Настройка шкалы CFG

Увеличение шкалы CFG усиливает влияние промпта, позволяя получать более стилизованные результаты. Например:

Шкала CFG 7–8: даёт сбалансированные результаты, сочетающие промпт и исходное изображение.
Шкала CFG 10–12: строгое следование промпту, но может привести к переобучению или галлюцинациям.

При использовании высоких значений шкалы CFG важно сочетать их с подходящими значениями шумоподавления, чтобы избежать чрезмерных отклонений от входного изображения.

Шаг 2. Тонкая настройка шумоподавления

Чтобы достичь желаемого баланса между исходным изображением и художественным стилем:

Начните со значения шумоподавления 0.5 для умеренной диффузии.
Постепенно уменьшайте значение шумоподавления небольшими шагами (например, 0.45, 0.44), чтобы уточнить детали, сохраняя исходное изображение.
Избегайте значений, близких к 0.0, поскольку они дадут результаты, почти идентичные входному изображению.

Шаг 3. Использование планировщика Karras для эффективности

Планировщик Karras позволяет использовать меньше шагов, сохраняя высокое качество результатов. Например:

30 шагов: даёт детализированные, проработанные результаты.
8 шагов: создаёт более быстрые и более случайные композиции.

Примеры результатов

Сравнение значений шумоподавления

При использовании изображения горного пейзажа были получены следующие результаты:

Шумоподавление 1.0: полностью стилизованная акварельная картина, не похожая на исходное изображение.

Шумоподавление 0.5: сбалансированный художественный результат с узнаваемыми вершинами.

Шумоподавление 0.3: почти идентично исходному изображению, с едва заметными художественными улучшениями.

Шумоподавление 0.0: чисто пересэмплированное изображение, неотличимое от входного.

Влияние шкалы CFG

При шкале CFG 10 и шумоподавлении 0.4 итоговое изображение сохранило художественный стиль и при этом близко соответствовало деталям исходной фотографии. Однако чрезмерное увеличение CFG (например, CFG 12 при шумоподавлении 1.0) привело к переобучению и нереалистичным результатам.

Советы по тонкой настройке

Экспериментируйте со шкалой CFG:
- Начните с умеренного значения (например, 8) и корректируйте его в зависимости от желаемого результата.
- Избегайте чрезмерно высоких значений, если промпт не требует сильного влияния.
Используйте негативные промпты:
- Устраняйте нежелательные элементы, такие как здания, транспортные средства или искусственные объекты.
Оптимизируйте число шагов с помощью планировщика Karras:
- Используйте меньше шагов (например, 8) для более быстрых результатов.
- Увеличивайте число шагов (например, 30) для детализированных результатов.
Итеративно подбирайте значения шумоподавления:
- Уточняйте настройки шумоподавления небольшими шагами (например, 0.5 → 0.45 → 0.44) для достижения наилучшего баланса.

Заключение

Промптинг и шкала CFG — мощные инструменты в рабочих процессах image-to-image, позволяющие пользователям контролировать художественный стиль и точность создаваемых изображений. Тщательно настраивая такие параметры, как сила шумоподавления, шкала CFG и настройки сэмплера, пользователи могут создавать впечатляющие преобразования, которые уважают исходное изображение и при этом вносят творческие улучшения.

Если вы хотите глубже изучить рабочие процессы image-to-image, вернитесь к нашей предыдущей статье и поэкспериментируйте с описанными здесь приёмами, чтобы ещё больше улучшить результаты.