C24: Como usar o OpenPose no ComfyUI para criar poses humanoides em fluxos de trabalho de IA

Introdução

OpenPose, um protocolo amplamente utilizado para definir poses da figura humana, oferece um método padronizado para representar articulações e ligações humanoides com imagens. Este artigo explora como tirar partido do OpenPose no ComfyUI para criar fluxos de trabalho de texto para imagem. Ao combinar modelos OpenPose ControlNet e imagens de poses geradas externamente, os utilizadores podem definir poses humanoides precisas para a geração de imagens com IA.

Este guia irá acompanhá-lo na configuração do OpenPose no ComfyUI, na configuração dos componentes necessários e na resolução de problemas comuns, incluindo problemas com o nó OpenPose Editor na versão para computador mais recente.

Índice

Configurar o OpenPose no ComfyUI

Passo 1: transferir os componentes necessários

Para usar o OpenPose no ComfyUI, precisa de dois componentes fundamentais:

Modelo OpenPose ControlNet: este modelo está adaptado ao modelo de difusão específico que está a usar. Para utilizadores de SDXL, transfira controlnet-openpose-sdxl-1.0 de Hugging Face. Localize o ficheiro necessário no separador “Files and Versions” e coloque-o no diretório de instalação do ComfyUI, em Models > ControlNet.
OpenPose Editor Node: transfira e instale o nó ComfyUI-OpenPose-Editor. Use o gestor do ComfyUI para procurar e instalar este componente. Reinicie o ComfyUI após a instalação.
Serviço de geração de imagens de poses (opcional): se estiver a ter problemas com o OpenPose Editor node na versão para computador mais recente do ComfyUI, pode usar um serviço online de geração de imagens OpenPose Openpose Editor para criar imagens de poses. Depois transfira a imagem da pose e carregue-a para o ComfyUI usando o nó Load Image.

Passo 2: criar o seu fluxo de trabalho no ComfyUI

Configuração do fluxo de trabalho

Load ControlNet Model: adicione o nó Load ControlNet Model ao seu fluxo de trabalho e carregue o modelo OpenPoseXL2 do ControlNet. Ligue-o ao nó Apply ControlNet, que fornece o condicionamento para o nó Sampler.
Load Pose Image: em vez de usar o nó OpenPose Editor, adicione um nó Load Image ao seu fluxo de trabalho. Use este nó para importar a imagem de pose gerada externamente. Ligue a saída de imagem do nó Load Image à entrada de imagem do nó Apply ControlNet.
Prompt: Fashion photography, isolated figure of a 17-year-old girl dancing ballet, 50’s retro vibe, graceful expression, flowing hair, wearing a white ballet leotard, sheer wrap skirt, pink ballet slippers, vibrant pose, mid-pirouette, dynamic and elegant movement.

Passo 3: gerar imagens de poses externamente

Porque usar serviços externos?

O OpenPose Editor node na versão para computador mais recente do ComfyUI tem problemas conhecidos, incluindo funcionalidade limitada e problemas de visualização. Para contornar estes problemas:

Use um serviço online de geração de imagens OpenPose Openpose Editor para criar imagens de poses de forma interativa. Estes serviços permitem-lhe definir poses humanoides sem depender do editor defeituoso.

Passos para gerar imagens de poses online

Visite uma plataforma online de geração de imagens OpenPose.
Crie e personalize a sua pose de forma interativa.
Transfira a imagem gerada em formato PNG.
Importe a imagem para o ComfyUI usando o nó Load Image.

Passo 4: otimizar os parâmetros do fluxo de trabalho

Ajustar a aplicação do ControlNet

Para melhorar o desempenho:

Reduza o parâmetro end_percent no nó Apply ControlNet para 0.25. Isto garante que o ControlNet só é aplicado durante os primeiros 25% dos passos de geração, acelerando o processo e mantendo a precisão.

Colocar o fluxo de trabalho em fila

Depois de definir todos os parâmetros, coloque o fluxo de trabalho em fila e gere a sua imagem.

Resolução de problemas comuns

Problema 1: problemas com o nó OpenPose Editor

Problema: o nó OpenPose Editor na versão para computador mais recente do ComfyUI tem problemas de visualização e funcionalidade. Continua por resolver depois de eu ter experimentado todas as soluções possíveis encontradas na internet.
Solução alternativa: use um serviço online de geração de imagens OpenPose Openpose Editor para criar imagens de poses e importá-las para o ComfyUI usando o nó Load Image.

Problema 2: visibilidade da tela no OpenPose Editor

Problema: a janela do editor pode não ser apresentada corretamente na versão do ComfyUI baseada no navegador.
Solução: reduza o zoom com Ctrl + Mouse Wheel no seu navegador para revelar controlos ocultos.

Problema 3: orientação e expressão facial

Problema: poses com orientações faciais específicas podem não ser representadas como pretendido.
Solução: use técnicas de inpainting ou gere novamente com uma semente aleatória diferente para aperfeiçoar os detalhes faciais.

Fluxo de trabalho:

Conclusão

Ao integrar o OpenPose no ComfyUI, os utilizadores podem criar poses humanoides detalhadas para fluxos de trabalho de geração de imagens com IA. Embora o nó OpenPose Editor na versão para computador mais recente tenha problemas conhecidos, usar serviços externos para gerar imagens de poses oferece uma alternativa fiável. Importar estas imagens através do nó Load Image garante uma execução fluida do fluxo de trabalho.

Para aperfeiçoamentos avançados, técnicas como o inpainting podem melhorar ainda mais os resultados. Para mais informações, consulte a documentação oficial em Hugging Face e no repositório do ComfyUI no GitHub.