C24: Как использовать OpenPose в ComfyUI для создания поз гуманоида в рабочих процессах ИИ

Введение

OpenPose, широко используемый протокол для определения поз человеческой фигуры, предоставляет стандартизированный метод представления суставов и соединений гуманоида с помощью изображений. В этой статье рассматривается, как использовать OpenPose в ComfyUI для создания рабочих процессов преобразования текста в изображение. Сочетая модели OpenPose ControlNet и изображения поз, созданные извне, пользователи могут задавать точные позы гуманоида для генерации изображений с помощью ИИ.

Это руководство проведёт вас через настройку OpenPose в ComfyUI, настройку необходимых компонентов и устранение распространённых проблем, включая проблемы с узлом OpenPose Editor в последней настольной версии.

Настройка OpenPose в ComfyUI

Шаг 1: загрузка необходимых компонентов

Чтобы использовать OpenPose в ComfyUI, нужны два важных компонента:

Модель OpenPose ControlNet: эта модель адаптирована к конкретной диффузионной модели, которую вы используете. Пользователям SDXL следует скачать controlnet-openpose-sdxl-1.0 с Hugging Face. Найдите необходимый файл на вкладке «Files and Versions» и поместите его в каталог установки ComfyUI, в Models > ControlNet.
OpenPose Editor Node: скачайте и установите узел ComfyUI-OpenPose-Editor. Используйте менеджер ComfyUI, чтобы найти и установить этот компонент. Перезапустите ComfyUI после установки.
Сервис генерации изображений поз (необязательно): если у вас возникли проблемы с OpenPose Editor node в последней настольной версии ComfyUI, вы можете воспользоваться онлайн-сервисом генерации изображений OpenPose Openpose Editor для создания изображений поз. Затем скачайте изображение позы и загрузите его в ComfyUI с помощью узла Load Image.

Шаг 2: создание рабочего процесса в ComfyUI

Настройка рабочего процесса

Load ControlNet Model: добавьте узел Load ControlNet Model в свой рабочий процесс и загрузите OpenPoseXL2 модель ControlNet. Подключите её к узлу Apply ControlNet, который обеспечивает обусловливание для узла Sampler.
Load Pose Image: вместо узла OpenPose Editor добавьте Load Image узел в свой рабочий процесс. Используйте этот узел для импорта изображения позы, созданного извне. Подключите выход изображения Load Image узла ко входу изображения узла Apply ControlNet.
Промпт: Fashion photography, isolated figure of a 17-year-old girl dancing ballet, 50’s retro vibe, graceful expression, flowing hair, wearing a white ballet leotard, sheer wrap skirt, pink ballet slippers, vibrant pose, mid-pirouette, dynamic and elegant movement.

Шаг 3: генерация изображений поз извне

Зачем использовать внешние сервисы?

В последней настольной версии ComfyUI OpenPose Editor node имеет известные проблемы, включая ограниченную функциональность и проблемы с отображением. Чтобы обойти эти проблемы:

Используйте онлайн-сервис генерации изображений OpenPose Openpose Editor для интерактивного создания изображений поз. Эти сервисы позволяют задавать позы гуманоида, не полагаясь на неисправный редактор.

Шаги по созданию изображений поз онлайн

Посетите онлайн-платформу генерации изображений OpenPose.
Создавайте и настраивайте позу в интерактивном режиме.
Скачайте созданное изображение в формате PNG.
Импортируйте изображение в ComfyUI с помощью узла Load Image.

Шаг 4: оптимизация параметров рабочего процесса

Настройка применения ControlNet

Чтобы улучшить производительность:

Уменьшите параметр end_percent в узле Apply ControlNet до 0.25. Это гарантирует, что ControlNet применяется только в течение первых 25% шагов генерации, что ускоряет процесс и сохраняет точность.

Поставить рабочий процесс в очередь

Настроив все параметры, поставьте рабочий процесс в очередь и создайте изображение.

Устранение распространённых проблем

Проблема 1: проблемы с узлом OpenPose Editor

Проблема: узел OpenPose Editor в последней настольной версии ComfyUI имеет проблемы с отображением и функциональностью. Проблема до сих пор не решена, хотя я перепробовал все возможные решения, найденные в интернете.
Обходной путь: используйте онлайн-сервис генерации изображений OpenPose Openpose Editor для создания изображений поз и импортируйте их в ComfyUI с помощью узла Load Image.

Проблема 2: видимость холста в OpenPose Editor

Проблема: окно редактора может отображаться некорректно в браузерной версии ComfyUI.
Решение: уменьшите масштаб с помощью Ctrl + Mouse Wheel в вашем браузере, чтобы показать скрытые элементы управления.

Проблема 3: ориентация и выражение лица

Проблема: позы с определённой ориентацией лица могут отображаться не так, как задумано.
Решение: используйте методы инпейнтинга или повторите генерацию с другим случайным сидом, чтобы доработать детали лица.

Рабочий процесс:

Заключение

Интегрировав OpenPose в ComfyUI, пользователи могут создавать детальные позы гуманоида для рабочих процессов генерации изображений с помощью ИИ. Хотя узел OpenPose Editor в последней настольной версии имеет известные проблемы, использование внешних сервисов для генерации изображений поз предлагает надёжную альтернативу. Импорт этих изображений через узел Load Image обеспечивает бесперебойное выполнение рабочего процесса.

Для более тонкой доработки такие методы, как инпейнтинг, могут ещё больше улучшить результаты. Дополнительную информацию см. в официальной документации на Hugging Face и в репозитории ComfyUI на GitHub.