Introdução
Em nosso artigo anterior, Otimizar a resolução de inpainting no ComfyUI, exploramos técnicas para melhorar a resolução em fluxos de trabalho de inpainting com modelos especializados. Com base nisso, este artigo se concentra no inpainting com modelos de difusão genéricos, que oferece uma abordagem versátil para cenários em que os modelos de inpainting especializados não estão disponíveis ou não são adequados.
Este guia leva você passo a passo pelo processo, destacando nós importantes como Set Latent Noise Mask e Remove Latent Mask para obter resultados perfeitos. Ao final, você entenderá como refinar texturas, equilibrar os parâmetros de remoção de ruído e adaptar fluxos de trabalho para resultados consistentes, aproveitando ao mesmo tempo a flexibilidade dos modelos genéricos.
Vamos mergulhar no fluxo de trabalho e explorar como usar modelos de difusão genéricos para inpainting no ComfyUI.
Índice
Por que usar modelos de difusão genéricos para inpainting?
- Limitações dos modelos especializados: Modelos como o Flux.1 Schnell podem falhar em certos cenários, especialmente ao trabalhar com modelos destilados.
- Vantagens dos modelos de difusão genéricos: Modelos genéricos, como o Juggernaut XL, oferecem compatibilidade mais ampla e melhor qualidade de imagem em aplicações não comerciais.
- Caso de uso ideal: Essa abordagem é perfeita para preservar as texturas originais enquanto gera conteúdo novo nas áreas mascaradas.
Fluxo de trabalho passo a passo para inpainting com modelos de difusão genéricos
Etapa 1: Preparar a imagem e a máscara
- Carregar a imagem de fundo:
- Use o nó Load Image no ComfyUI para importar sua imagem.
- Criar a máscara:
- Clique com o botão direito na imagem e escolha Open in Mask Editor.
- Pinte a área que você deseja retocar (por exemplo, remover uma mesa).
Etapa 2: Configurar o grafo
- Adicionar nós KSampler Advanced:
- Use dois nós KSampler para o refinamento:
- O primeiro nó executa a maioria das etapas de difusão (por exemplo, 18 de 20).
- O segundo nó reamostra a imagem para manter a consistência (por exemplo, 2 etapas).
- Configure os prompts:
- Primeiro nó: Especifique os detalhes da área retocada (por exemplo, “empty room, carpet textured”).
- Segundo nó: Inclua o prompt completo para corresponder à imagem original.
- Use dois nós KSampler para o refinamento:
- Ajustar os parâmetros de denoise:
- Para nós KSampler padrão, defina valores de denoise entre 0.6 and 0.8 para obter resultados ideais.
- Para nós avançados, controle manualmente a adição de ruído durante as etapas de difusão.
Etapa 3: Usar o Set Latent Noise Mask
- Objetivo: Separa áreas para operações de imagem para imagem e geração de ruído aleatório.
- Configuração:
- Conecte a imagem latente de VAE Encode ao nó Set Latent Noise Mask.
- Conecte a máscara do nó Load Image ao mesmo nó.
- Envie a saída latente para o primeiro nó KSampler.
Etapa 4: Refinar o fluxo de trabalho com o Remove Latent Mask
- Objetivo: Garante que o processo de reamostragem se aplique à imagem inteira, não apenas às áreas mascaradas.
- Configuração:
- Instale o ComfyUI Essentials Node Pack pelo Manager.
- Adicione o nó Remove Latent Mask entre os dois nós KSampler.
Etapa 5: Comparar os resultados
- Adicione o nó Image Comparer (disponível no pacote de nós rgthree).
- Conecte a imagem original e a saída decodificada do VAE Decode às entradas do comparador.
- Expanda o nó comparador para analisar as diferenças entre antes e depois.
A otimizada:
Principais insights para otimizar os resultados
- Seleção do modelo: O Juggernaut XL oferece texturas mais suaves e melhor antialiasing em comparação com outros modelos.
- Valores de remoção de ruído: Experimente valores entre 0.6 and 0.8 para uma preservação equilibrada do contexto.
- Configuração de prompts: Use prompts direcionados para as áreas retocadas e prompts abrangentes para manter a consistência da reamostragem.
Conclusão
O inpainting com modelos de difusão genéricos no ComfyUI oferece uma alternativa flexível e poderosa aos fluxos de trabalho especializados. Ao aproveitar nós como Set Latent Noise Mask e Remove Latent Mask, você pode obter resultados perfeitos que preservam as texturas originais ao mesmo tempo que geram conteúdo novo. Quer você trabalhe em projetos comerciais ou não comerciais, essa abordagem permite maior controle sobre a qualidade da imagem e o refinamento.
Para técnicas mais avançadas e dicas de solução de problemas, consulte nosso artigo anterior sobre Otimização da resolução de inpainting no ComfyUI.