Инпейнтинг — важнейшая техника в создании произведений искусства с помощью ИИ, особенно когда требуются точные композиции, несколько объектов или сложные дизайны.Инпейнтинг со специализированными моделями позволяет авторам преодолеть ограничения текстовых промптов, которые при превышении 30 токенов часто приводят к непреднамеренным или проигнорированным результатам. В этой статье рассматривается процесс инпейнтинга с акцентом на модели Stable Diffusion и приводятся практические рекомендации по улучшению рабочего процесса.
Содержание
Что такое инпейнтинг и почему он важен?
Инпейнтинг предполагает изменение конкретных областей существующего изображения с сохранением окружающего содержимого. Эта техника неоценима, когда одного промпта недостаточно для достижения желаемых результатов, поскольку она позволяет разбить процесс генерации на управляемые этапы.
Например, можно сначала создать фоновое изображение, а затем с помощью инпейнтинга вставить объект переднего плана, например персонажа или предмет. Такой многослойный подход обеспечивает больший контроль над композицией и позволяет избежать перегрузки текстового кодировщика.
Роль специализированных моделей инпейнтинга
Специализированные модели инпейнтинга обучены специально для этой цели и дают лучшие результаты по сравнению с общими моделями. Например, если для создания фона вы использовали модель Realistic Vision 5.1, сочетание её с соответствующей моделью инпейнтинга Realistic Vision 5.1 даст наилучшие результаты. Такие модели обычно доступны на таких платформах, как Civitai.
Ключевые настройки для моделей инпейнтинга:
- Установка модели: убедитесь, что модель инпейнтинга помещена в правильную папку. Для ComfyUI это означает размещение в папке
models/Checkpoint, а не в папкеmodels/Inpainting. - Совместимость разрешений: используйте изображения с разрешением, соответствующим исходным размерам модели (например, 512×512 для Realistic Vision 5.1). Несовпадение разрешений может привести к искажённым результатам.
Пошаговый рабочий процесс инпейнтинга в ComfyUI
1. Загрузка модели инпейнтинга
- Откройте ComfyUI и загрузите модель инпейнтинга в узел Load Checkpoint.
- Убедитесь, что модель включает VAE (вариационный автокодировщик) для оптимальной производительности.
2. Подготовка базового изображения
- Используйте узел Load Image, чтобы загрузить подготовленное фоновое изображение.
- Убедитесь, что разрешение изображения соответствует оптимальным настройкам модели.
3. Настройка VAE-кодирования для инпейнтинга
- Добавьте узел VAE Encode for Inpainting в свой рабочий процесс. Этот узел соединяет латентное изображение с узлом KSampler и принимает три входа:
- VAE: подключите от узла Checkpoint.
- Pixels: подключите от узла Load Image.
- Mask: подключите от узла Load Image, чтобы указать область, которую нужно изменить.
4. Создание и редактирование маски
- Щёлкните правой кнопкой мыши по узлу Load Image и выберите Open in Mask Editor.
- Используйте круглую кисть, чтобы нарисовать область, в которой будет выполняться инпейнтинг. Настройте размер кисти с помощью клавиш
[ ]. - Сохраните маску в узле после завершения.
Совет профессионала: форма маски — лишь общее указание на то, где будет размещён новый объект. Она не определяет точные контуры объекта.
5. Определение промпта
- Напишите чёткий и краткий промпт, например:
«Лодка в океане.» - Используйте негативный промпт, чтобы исключить нежелательные элементы, например «уродливый, деформированный, гротескный.»
6. Генерация и доработка
- Поставьте рабочий процесс в очередь и просмотрите результат. Если результат неудовлетворительный:
- Настройте размер или форму маски.
- Повторно рандомизируйте seed.
- Поэкспериментируйте с разными промптами или параметрами.
Примечание: меньшие области маски могут привести к искажённым результатам, поскольку они используют лишь ограниченную часть латентного пространства модели. Для лучших результатов попробуйте увеличить маску или повысить разрешение.
Весь рабочий процесс
Исходное изображение:
Инпейнтинг:
Устранение распространённых проблем
- Размытые или искажённые результаты:
- Убедитесь, что разрешение изображения соответствует спецификациям модели.
- Используйте большую область маски, чтобы уменьшить искажения.
- Нереалистичные или неестественные результаты:
- Повторно рандомизируйте seed и доработайте маску.
- Используйте специализированную модель инпейнтинга, совместимую с вашей базовой моделью.
- Ограничения модели:
- Если модели инпейнтинга трудно даются мелкие детали, рассмотрите возможность разбить задачу на более мелкие шаги или использовать изображения с более высоким разрешением.
Дополнительные ресурсы
Заключение
Инпейнтинг со специализированными моделями, такими как Realistic Vision 5.1, даёт непревзойдённый контроль над композициями, созданными ИИ. Следуя описанным выше шагам, можно добиться точных и визуально привлекательных результатов. Не забывайте экспериментировать с масками, промптами и значениями seed, чтобы ещё больше доработать рабочий процесс.