Введение
В нашей предыдущей статье, Оптимизация разрешения инпейнтинга в ComfyUI, мы рассмотрели техники повышения разрешения в рабочих процессах инпейнтинга с использованием специализированных моделей. Опираясь на эту основу, в данной статье мы сосредоточимся на инпейнтинге с универсальными диффузионными моделями, что даёт универсальный подход для сценариев, в которых специализированные модели инпейнтинга недоступны или не подходят.
Это руководство шаг за шагом проведёт вас через процесс, выделяя ключевые узлы, такие как Set Latent Noise Mask и Remove Latent Mask для достижения бесшовных результатов. К концу вы поймёте, как дорабатывать текстуры, балансировать параметры шумоподавления и адаптировать рабочие процессы для стабильных результатов — используя при этом гибкость универсальных моделей.
Давайте погрузимся в рабочий процесс и посмотрим, как использовать универсальные диффузионные модели для инпейнтинга в ComfyUI.
Содержание
Зачем использовать универсальные диффузионные модели для инпейнтинга?
- Ограничения специализированных моделей: такие модели, как Flux.1 Schnell, могут давать сбои в определённых сценариях, особенно при работе с дистиллированными моделями.
- Преимущества универсальных диффузионных моделей: универсальные модели, такие как Juggernaut XL, обеспечивают более широкую совместимость и лучшее качество изображения в некоммерческих приложениях.
- Идеальный сценарий использования: этот подход идеально подходит для сохранения исходных текстур при генерации нового контента в замаскированных областях.
Пошаговый рабочий процесс инпейнтинга с универсальными диффузионными моделями
Шаг 1: подготовка изображения и маски
- Загрузка фонового изображения:
- Используйте узел Load Image в ComfyUI, чтобы импортировать изображение.
- Создание маски:
- Щёлкните изображение правой кнопкой мыши и выберите Open in Mask Editor.
- Закрасьте область, которую хотите отредактировать (например, убрать стол).
Шаг 2: настройка графа
- Добавление узлов KSampler Advanced:
- Используйте два узла KSampler для доработки:
- Первый узел выполняет большинство шагов диффузии (например, 18 из 20).
- Второй узел повторно сэмплирует изображение для согласованности (например, 2 шага).
- Настройте промпты:
- Первый узел: укажите детали для редактируемой области (например, “empty room, carpet textured”).
- Второй узел: включите полный промпт, чтобы он соответствовал исходному изображению.
- Используйте два узла KSampler для доработки:
- Настройка параметров шумоподавления:
- Для стандартных узлов KSampler установите значения denoise в диапазоне 0.6 and 0.8 для оптимальных результатов.
- Для продвинутых узлов вручную управляйте добавлением шума на шагах диффузии.
Шаг 3: использование Set Latent Noise Mask
- Назначение: разделяет области для операций «изображение в изображение» и генерации случайного шума.
- Конфигурация:
- Подключите латентное изображение из VAE Encode к узлу Set Latent Noise Mask.
- Подключите маску из узла Load Image к тому же узлу.
- Отправьте латентный вывод на первый узел KSampler.
Шаг 4: доработка рабочего процесса с помощью Remove Latent Mask
- Назначение: гарантирует, что процесс ресэмплинга применяется ко всему изображению, а не только к замаскированным областям.
- Конфигурация:
- Установите ComfyUI Essentials Node Pack через Manager.
- Добавьте узел Remove Latent Mask между двумя узлами KSampler.
Шаг 5: сравнение результатов
- Добавьте узел Image Comparer (доступен в пакете узлов rgthree).
- Подключите исходное изображение и декодированный вывод из VAE Decode ко входам компаратора.
- Разверните узел компаратора, чтобы проанализировать различия до и после.
Оптимизированный вариант:
Ключевые выводы для оптимизации результатов
- Выбор модели: Juggernaut XL даёт более мягкие текстуры и лучшее сглаживание по сравнению с другими моделями.
- Значения шумоподавления: экспериментируйте со значениями в диапазоне 0.6 and 0.8 для сбалансированного сохранения контекста.
- Настройка промптов: используйте целевые промпты для областей инпейнтинга и полные промпты для согласованности ресэмплинга.
Заключение
Инпейнтинг с универсальными диффузионными моделями в ComfyUI — гибкая и мощная альтернатива специализированным рабочим процессам. Используя такие узлы, как Set Latent Noise Mask и Remove Latent Mask, вы можете добиться бесшовных результатов, которые сохраняют исходные текстуры и одновременно генерируют новый контент. Работаете ли вы над коммерческими или некоммерческими проектами, этот подход даёт больший контроль над качеством изображения и его доработкой.
Более продвинутые техники и советы по устранению неполадок — в нашей предыдущей статье о Оптимизация разрешения инпейнтинга в ComfyUI.