При работе с инструментами генерации изображений на основе ИИ, такими как ComfyUI, понимание шагов инференса и шкалы CFG (Classifier-Free Guidance) необходимо для получения высококачественных результатов. В этой статье мы рассмотрим, как эти параметры влияют на генерацию изображений и как их настраивать для достижения наилучших результатов.
Содержание
Что такое шаги инференса
Шаги инференса, также называемые шагами сэмплинга, определяют количество итераций, которые модель выполняет, чтобы обратить процесс диффузии. Диффузионные модели, обученные на больших наборах данных изображений, учатся тому, как изображения превращаются в шум, и используют эти знания для восстановления изображений из шума в процессе генерации.
Как работают шаги инференса
- Начальная точка: Сэмплер начинает с поля случайного шума.
- Обусловливание промптом: Модель использует заданный промпт, чтобы вывести желаемое изображение.
- Итеративный процесс: Шум постепенно удаляется на последовательных шагах, пока не появится итоговое изображение.
Например, если попросить модель создать рубиновогорлого колибри, сэмплер начнёт с шума и будет итеративно удалять всё, что не похоже на колибри.
Настройка шагов инференса
Количество шагов инференса существенно влияет как на качество создаваемого изображения, так и на время обработки.
- Настройка по умолчанию: Большинство сэмплеров по умолчанию используют 20 шагов.
- Уменьшение числа шагов: Уменьшение числа шагов (например, до 8) ускоряет процесс, но часто приводит к плохому качеству изображения. Слишком малое число шагов делает изображение неполным и нереалистичным.
- Увеличение числа шагов: Увеличение числа шагов (например, до 30) улучшает детализацию и реалистичность, но увеличивает время генерации.
Пример сравнения (при прочих равных условиях, таких как промпт, seed и модель):
- 8 шагов: Изображения размыты и лишены деталей. Не рекомендуется для большинства рабочих процессов.
- 20 шагов: Сбалансированное качество и скорость. Подходит для общего использования.
- 30 шагов: Более высокий реализм и детализация, особенно для сложных промптов, таких как природная фотография.
Советы по выбору шагов инференса
- Экспериментируйте с разным числом шагов, чтобы найти оптимальный баланс между качеством и скоростью.
- Обратитесь к документации вашей конкретной модели. Некоторые модели, например дистиллированные, оптимизированы для меньшего числа шагов (например, 8, 4 или даже одного шага).
Что такое шкала Classifier-Free Guidance (CFG)
Classifier-Free Guidance (CFG) контролирует, насколько строго модель следует промпту при генерации изображений. Она определяет вес, придаваемый обусловливающему промпту по сравнению с внутренними свойствами модели.
Как работает CFG
- Низкие значения CFG: Модель получает больше свободы в интерпретации промпта, что часто приводит к результатам, отклоняющимся от задуманного.
- Высокие значения CFG: Модель строже следует промпту, но чрезмерные значения могут привести к переобучению и неестественным результатам.
Настройка шкалы CFG
Значение CFG по умолчанию обычно равно 8.0, но его настройка может кардинально повлиять на результат.
Пример сравнения(при прочих равных условиях, таких как промпт, seed, модель и шаги):
- CFG = 1.0: Модель даёт вольные интерпретации промпта. Например, промпт с колибри может привести к изображению, едва напоминающему колибри, с анатомическими неточностями.
- CFG = 8.0: Сбалансированное следование промпту, создающее реалистичные и детализированные изображения.
- CFG = 20.0: Начинается переобучение, приводящее к неестественной насыщенности, контрасту и артефактам изображения.
- CFG = 30.0: Экстремальное переобучение приводит к мультяшным изображениям с плоскими областями и преувеличенными цветами.
Поиск оптимального значения
- Большинство моделей работают лучше всего в умеренном диапазоне значений CFG (например, 7–12).
- Обратитесь к документации вашей модели, чтобы определить оптимальный диапазон CFG. Некоторые модели снисходительны, а другие требуют точной настройки CFG.
Ключевые выводы по выбору шагов инференса и шкалы CFG
- Шаги инференса:
- Используйте меньше шагов для более быстрой генерации, но с более низким качеством.
- Увеличивайте число шагов для лучшего реализма и детализации, особенно при сложных промптах.
- Экспериментируйте с числом шагов, чтобы найти баланс между скоростью и качеством.
- Шкала CFG:
- Более низкие значения (например, 1–4) снижают следование промпту, но позволяют получать творческие результаты.
- Умеренные значения (например, 7–12) уравновешивают реализм и следование промпту.
- Более высокие значения (например, 20+) могут вызвать переобучение и привести к неестественным изображениям.
Заключение
Понимание и настройка шагов инференса и шкалы CFG крайне важны для оптимизации рабочих процессов генерации изображений с помощью ИИ. Если шаги инференса контролируют итеративный процесс удаления шума, то шкала CFG определяет уровень следования промпту. Экспериментируя с этими параметрами и обращаясь к документации вашей конкретной модели, можно получать впечатляющие высококачественные изображения, соответствующие вашим потребностям.