C16: Рабочий процесс для базовых моделей и моделей Refiner SDXL – полное руководство

Введение

 Модель SDXL предлагает мощные возможности для генерации и доработки изображений, что делает её популярным выбором для творческих рабочих процессов. В этой статье мы рассмотрим, как настроить полный рабочий процесс SDXL с использованием как базовой модели, так и модели Refiner. Эффективно используя эти модели, можно создавать высококачественные изображения с улучшенными деталями и художественными эффектами.

Для вашего удобства скачайте модели здесь:

• SDXL Base Model: Скачать с Hugging Face
• SDXL Refiner Model: Скачать с Hugging Face

После загрузки модели поместите её в папку «C:\Users\<username>\Documents\ComfyUI\models\checkpoints»

Что такое SDXL?

 Stable Diffusion XL (SDXL) представляет собой значительный шаг вперёд в области генерации изображений с помощью ИИ. Разработанная компанией Stability AI, эта модель развивает успех более ранних версий Stable Diffusion, предлагая улучшенные возможности для создания ультрареалистичных изображений высокого разрешения.

Основные функции SDXL:

1. Двухэтапный рабочий процесс: SDXL предназначен для работы с двумя моделями:
   • Базовая модель: отвечает за создание начального изображения с базовыми особенностями, текстурами и композициями.
   • Refiner-модель: дополнительно улучшает созданное изображение, дорабатывая детали, улучшая текстуры и добавляя художественные эффекты.
2. Выходные данные с более высоким разрешением: SDXL поддерживает разрешение до 1024×1024 пикселей, что делает его идеальным для творческих проектов, требующих детализированных и высококачественных изображений.
3. Улучшенное понимание промптов: модель отлично интерпретирует сложные промпты, позволяя пользователям создавать высоко настраиваемые результаты, соответствующие их творческому видению.
4. Управление шумом: SDXL включает передовые методы управления шумом при генерации изображений, обеспечивая более плавные переходы между базовым этапом и этапом доработки.
5. Универсальность в разных стилях: стремитесь ли вы к фотореализму, абстрактному искусству или стилизованным результатам, SDXL с замечательной гибкостью адаптируется к различным художественным стилям.

Зачем использовать SDXL?

SDXL особенно полезен для рабочих процессов, требующих как творчества, так и точности. Объединяя базовую модель с моделью Refiner, пользователи могут добиться результатов, которые не только впечатляют визуально, но и легко настраиваются. Это делает SDXL отличным выбором для профессионалов в таких областях, как цифровое искусство, графический дизайн и визуальный сторителлинг.

Настройка рабочего процесса SDXL

Шаг 1: Настройка базовой модели

Начните с загрузки SDXL Base 1.0 checkpoint в ваш рабочий процесс. Используйте K Sampler Advanced Node для доработки процесса генерации изображений.

1. Add Noise: включите добавление шума для базовой модели, чтобы выполнить обычный процесс диффузии.
2. Настройка шагов: установите общее количество шагов на 30. Однако оставьте немного шума, чтобы второй узел сэмплера мог доработать его позже.
3. Включить Return with Leftover Noise: это гарантирует, что в латентном пространстве останется немного шума для обработки моделью Refiner.

Параметры для установки:

• Add Noise: Enable
• End at Step: 20 (из 30)
• Return with Leftover Noise: Enable

Запустите рабочий процесс, чтобы создать начальное изображение. Сохраните это изображение на диск для последующего сравнения.

Шаг 2: Настройка модели Refiner

Когда базовая модель создала начальное изображение, пришло время доработать его с помощью SDXL Refiner Model.

1. Load Checkpoint: загрузите модель SDXL Refiner в ваш рабочий процесс.
2. Отключить добавление шума: поскольку изображение уже содержит шум от базовой модели, отключите добавление шума для модели Refiner.
3. Подключение нод:
   • Positive Conditioning: подключите позитивный промпт к модели Refiner.
   • Negative Conditioning: подключите негативный промпт к модели Refiner.
   • Latent: передайте латентное пространство от базовой модели к модели Refiner.

Параметры для установки:

• Add Noise: Disable
• Start at Step: 20
• End at Step: 30
• Control After Generate: Fixed

Шаг 3: Оптимизация рабочего процесса

Чтобы упростить процесс, используйте примитивные ноды для передачи промптов между базовой моделью и моделью Refiner. Это позволяет избежать ручного дублирования промпта и обеспечивает согласованность.

1. Используйте Primitive Node для маршрутизации позитивных и негативных промптов к обеим моделям.
2. Подключите промпты к Clip Text Encode Conditioning Nodes для каждой модели.

Шаг 4: Сохранение и сравнение результатов

После доработки изображения сохраните окончательный результат с помощью Save Image Extended Node. Обновите метаданные в этой ноде, чтобы убедиться, что из модели Refiner получены правильные данные.

Обновление метаданных:

• Замените заполнители (например, символы решётки) в Save Image Extended Node на этот ID.

После сохранения сравните результаты:

• Результат базовой модели: содержит шум и выглядит менее детализированным.

• Результат базовой модели + модели Refiner: шум удалён, получается отполированное изображение с усиленными акварельными эффектами и улучшенными деталями.

Примеры промптов для справки

Для достижения наилучших результатов начните с хорошо продуманных промптов. Ниже приведены примеры позитивных и негативных промптов, которые можно использовать:

Позитивный промпт:

A fantasy castle surrounded by lush greenery, intricate architectural details, vibrant colors, and a glowing sunrise in the background, watercolor style, ultra-realistic, 4K resolution  

Негативный промпт:

Blurry, low-quality, distorted, overexposed, grainy, unrealistic proportions, poorly lit, low resolution  

Эти промпты можно настроить в соответствии с вашим творческим видением.

Ключевые параметры в K Sampler Advanced Node

Ниже приведена сводка ключевых параметров, используемых в K Sampler Advanced Node для обеих моделей:

Преимущества использования базовых моделей и моделей Refiner SDXL

Объединяя базовую модель и модель Refiner в рабочем процессе, можно достичь:

• Более высокое качество изображения: модель Refiner удаляет остаточный шум, улучшая детали.
• Улучшенные художественные эффекты: лучшие текстуры и смешивание цветов для творческих результатов.
• Эффективность рабочего процесса: использование примитивных нод и маршрутизация промптов снижает количество ошибок ручного ввода.