O inpainting é uma técnica fundamental na geração de arte com IA, especialmente quando são necessárias composições precisas, vários temas ou designs complexos.O inpainting com modelos especializados permite aos criadores superar as limitações dos prompts de texto, que muitas vezes podem levar a resultados inesperados ou ignorados quando excedem 30 tokens. Este artigo explora o processo de inpainting, centrando-se nos modelos Stable Diffusion, e oferece ideias práticas para melhorar o seu fluxo de trabalho.
Índice
O que é o inpainting e porque é importante?
O inpainting consiste em modificar áreas específicas de uma imagem existente, preservando o conteúdo circundante. Esta técnica é inestimável quando um prompt, por si só, não consegue alcançar os resultados pretendidos, pois permite dividir o processo de geração em passos geríveis.
Por exemplo, pode criar primeiro uma imagem de fundo e depois usar o inpainting para inserir um tema em primeiro plano, como uma personagem ou um objeto. Esta abordagem em camadas garante um maior controlo sobre a composição e evita os problemas de sobrecarregar o codificador de texto.
O papel dos modelos de inpainting especializados
Os modelos de inpainting especializados são treinados especificamente para este fim, oferecendo resultados superiores aos dos modelos gerais. Por exemplo, se usou o modelo Realistic Vision 5.1 para gerar o seu fundo, combiná-lo com o correspondente modelo de inpainting Realistic Vision 5.1 dará os melhores resultados. Estes modelos estão normalmente disponíveis em plataformas como Civitai.
Configuração essencial para modelos de inpainting:
- Instalação do modelo: certifique-se de que o modelo de inpainting é colocado na pasta correta. No ComfyUI, isto significa colocá-lo na pasta
models/Checkpointe não na pastamodels/Inpainting. - Compatibilidade de resolução: use imagens com resoluções que correspondam às dimensões nativas do modelo (p. ex., 512×512 para o Realistic Vision 5.1). Resoluções incompatíveis podem levar a resultados distorcidos.
Fluxo de trabalho de inpainting passo a passo no ComfyUI
1. Carregar o modelo de inpainting
- Abra o ComfyUI e carregue o modelo de inpainting no nó Load Checkpoint.
- Verifique se o modelo inclui a VAE (autoencoder variacional) para um desempenho ideal.
2. Preparar a imagem base
- Use um nó Load Image para carregar a sua imagem de fundo preparada.
- Certifique-se de que a resolução da imagem está alinhada com as definições ideais do modelo.
3. Configurar a codificação VAE para inpainting
- Adicione um nó VAE Encode for Inpainting ao seu fluxo de trabalho. Este nó liga a imagem latente ao KSampler e aceita três entradas:
- VAE: ligue-a a partir do nó Checkpoint.
- Pixels: ligue-a a partir do nó Load Image.
- Mask: ligue-a a partir do nó Load Image para indicar a área que pretende modificar.
4. Criar e editar a máscara
- Clique com o botão direito no nó Load Image e selecione Open in Mask Editor.
- Use o pincel circular para desenhar a área onde o inpainting irá ocorrer. Ajuste o tamanho do pincel com as teclas
[ ]. - Guarde a máscara no nó quando terminar.
Dica profissional: a forma da máscara é apenas uma indicação geral de onde o novo tema será colocado. Não define os contornos exatos do tema.
5. Definir o prompt
- Escreva um prompt claro e conciso, como:
«Um barco no oceano.» - Use um prompt negativo para excluir elementos indesejados, p. ex.,«feio, deformado, grotesco.»
6. Gerar e refinar
- Coloque o fluxo de trabalho na fila e reveja o resultado. Se o resultado for insatisfatório:
- Ajuste o tamanho ou a forma da máscara.
- Volte a aleatorizar a semente.
- Experimente diferentes prompts ou parâmetros.
Nota: áreas de máscara mais pequenas podem levar a resultados distorcidos, porque utilizam apenas uma parte limitada do espaço latente do modelo. Para melhores resultados, tente ampliar a máscara ou aumentar a resolução.
Todo o fluxo de trabalho
Imagem original:
Inpainting:
Resolução de problemas comuns
- Resultados desfocados ou distorcidos:
- Certifique-se de que a resolução da imagem corresponde às especificações do modelo.
- Use uma área de máscara maior para reduzir as distorções.
- Resultados irrealistas ou pouco naturais:
- Volte a aleatorizar a semente e refine a máscara.
- Use um modelo de inpainting especializado compatível com o seu modelo base.
- Limitações do modelo:
- Se o modelo de inpainting tiver dificuldades com pequenos detalhes, considere dividir a tarefa em passos mais pequenos ou usar imagens de maior resolução.
Recursos adicionais
Conclusão
O inpainting com modelos especializados como o Realistic Vision 5.1 oferece um controlo incomparável sobre as composições geradas por IA. Ao seguir os passos descritos acima, pode obter resultados precisos e visualmente apelativos. Lembre-se de experimentar máscaras, prompts e sementes para refinar ainda mais o seu fluxo de trabalho.