C16: Fluxo de trabalho para os modelos base e refinador do SDXL – O guia completo

Introdução

O modelo SDXL oferece recursos poderosos para geração e refinamento de imagens, tornando-o uma escolha popular para fluxos de trabalho criativos. Neste artigo, exploraremos como configurar o fluxo de trabalho completo do SDXL usando tanto o modelo base quanto o modelo refinador. Ao aproveitar esses modelos de forma eficaz, você pode produzir imagens de alta qualidade com detalhes aprimorados e efeitos artísticos.

Para sua conveniência, baixe os modelos aqui:

• SDXL Base Model: Baixar do Hugging Face
• SDXL Refiner Model: Baixar do Hugging Face

Depois de baixar o modelo, coloque-o na pasta “C:\Users\<username>\Documents\ComfyUI\models\checkpoints”

O que é o SDXL?

O Stable Diffusion XL (SDXL) representa um avanço significativo no campo da geração de imagens com IA. Desenvolvido pela Stability AI, esse modelo baseia-se no sucesso das versões anteriores do Stable Diffusion, introduzindo recursos aprimorados para gerar imagens ultrarrealistas de alta resolução.

Principais recursos do SDXL:

1. Fluxo de trabalho em duas etapas: o SDXL foi projetado para funcionar com dois modelos:
   • Modelo base: responsável por gerar a imagem inicial com recursos, texturas e composições fundamentais.
   • Modelo refinador: aprimora ainda mais a imagem gerada, refinando detalhes, melhorando texturas e adicionando efeitos artísticos.
2. Saídas de resolução mais alta: o SDXL oferece suporte a resoluções de até 1024×1024 pixels, o que o torna ideal para projetos criativos que exigem imagens detalhadas e de alta qualidade.
3. Melhor compreensão de prompts: o modelo se destaca na interpretação de prompts complexos, permitindo que os usuários criem resultados altamente personalizados que se alinham à sua visão criativa.
4. Gerenciamento de ruído: o SDXL incorpora técnicas avançadas de gerenciamento de ruído durante a geração de imagens, permitindo transições mais suaves entre os estágios base e refinador.
5. Versatilidade entre estilos: seja você esteja buscando fotorrealismo, arte abstrata ou resultados estilizados, o SDXL se adapta a vários estilos artísticos com flexibilidade notável.

Por que usar o SDXL?

O SDXL é particularmente útil para fluxos de trabalho que exigem criatividade e precisão. Ao combinar o modelo base com o modelo refinador, os usuários podem obter resultados não apenas visualmente impressionantes, mas também altamente personalizáveis. Isso faz do SDXL uma excelente escolha para profissionais de áreas como arte digital, design gráfico e narrativa visual.

Configuração do fluxo de trabalho do SDXL

Etapa 1: Configuração do modelo base

Comece carregando o SDXL Base 1.0 checkpoint no seu fluxo de trabalho. Use um K Sampler Advanced Node para refinar o processo de geração de imagens.

1. Add Noise: habilite a adição de ruído para que o modelo base execute o processo de difusão normal.
2. Configuração de etapas: defina o total de etapas como 30. No entanto, deixe um pouco de ruído para o segundo nó de amostragem refinar mais tarde.
3. Habilitar Return with Leftover Noise: isso garante que um pouco de ruído permaneça no espaço latente para o modelo refinador processar.

Parâmetros a definir:

• Add Noise: Enable
• End at Step: 20 (de 30)
• Return with Leftover Noise: Enable

Execute o fluxo de trabalho para gerar uma imagem inicial. Salve essa imagem em disco para comparação posterior.

Etapa 2: Configuração do modelo refinador

Depois que o modelo base gerar a imagem inicial, é hora de refiná-la usando o SDXL Refiner Model.

1. Load Checkpoint: carregue o modelo refinador SDXL no seu fluxo de trabalho.
2. Desabilitar a adição de ruído: como a imagem já contém ruído do modelo base, desabilite a adição de ruído para o modelo refinador.
3. Conectar nós:
   • Positive Conditioning: conecte o prompt positivo ao modelo refinador.
   • Negative Conditioning: conecte o prompt negativo ao modelo refinador.
   • Latent: passe o espaço latente do modelo base para o modelo refinador.

Parâmetros a definir:

• Add Noise: Disable
• Start at Step: 20
• End at Step: 30
• Control After Generate: Fixed

Etapa 3: Otimização do fluxo de trabalho

Para agilizar o processo, use nós primitivos para passar prompts entre o modelo base e o modelo refinador. Isso evita duplicar o prompt manualmente e garante consistência.

1. Use um Primitive Node para direcionar os prompts positivos e negativos para ambos os modelos.
2. Conecte os prompts aos Clip Text Encode Conditioning Nodes de cada modelo.

Etapa 4: Salvamento e comparação de resultados

Depois de refinar a imagem, salve o resultado final usando um Save Image Extended Node. Atualize os metadados neste nó para garantir que os dados corretos sejam capturados do modelo refinador.

Atualização de metadados:

• Substitua os marcadores de posição (por ex., cerquilhas) no Save Image Extended Node por este ID.

Depois de salvar, compare os resultados:

• Saída do modelo base: contém ruído e parece menos detalhada.

• Saída do modelo base + refinador: o ruído é removido, resultando em uma imagem polida com efeitos de aquarela aprimorados e mais detalhes.

Exemplos de prompts para referência

Para obter os melhores resultados, comece com prompts bem elaborados. Abaixo estão exemplos de prompts positivos e negativos que você pode usar:

Prompt positivo:

A fantasy castle surrounded by lush greenery, intricate architectural details, vibrant colors, and a glowing sunrise in the background, watercolor style, ultra-realistic, 4K resolution  

Prompt negativo:

Blurry, low-quality, distorted, overexposed, grainy, unrealistic proportions, poorly lit, low resolution  

Esses prompts podem ser personalizados para se adequar à sua visão criativa.

Parâmetros principais no K Sampler Advanced Node

Abaixo está um resumo dos principais parâmetros usados no K Sampler Advanced Node para ambos os modelos:

Benefícios de usar os modelos base e refinador do SDXL

Ao combinar os modelos base e refinador no seu fluxo de trabalho, você pode obter:

• Maior qualidade de imagem: o modelo refinador remove o ruído residual, aprimorando os detalhes.
• Melhores efeitos artísticos: melhores texturas e mistura de cores para resultados criativos.
• Eficiência do fluxo de trabalho: o uso de nós primitivos e o direcionamento de prompts reduzem erros de entrada manual.