C21: Dominar os prompts de imagem para imagem e a escala CFG no ComfyUI

Introdução

No nosso artigo anterior, «Image-to-Image Transformation in ComfyUI» , explorámos os fundamentos da criação de um fluxo de trabalho de imagem para imagem. Falámos de como a difusão no espaço latente permite transformações criativas, preservando os elementos essenciais da imagem de entrada. Se é novo no ComfyUI ou nos fluxos de trabalho de imagem para imagem, recomendamos que leia primeiro esse artigo para compreender os conceitos básicos.

Neste guia de continuação, vamos aprofundar a elaboração de prompts, a escala de orientação sem classificador (CFG) e a intensidade de remoção de ruído: três fatores fundamentais que influenciam a qualidade e o estilo das imagens geradas. Ao otimizar estes parâmetros, pode alcançar um equilíbrio perfeito entre a criatividade artística e a fidelidade à imagem original.

O que é a escala CFG e porque é importante?

A escala de orientação sem classificador (CFG) é um parâmetro fundamental nos fluxos de trabalho de IA generativa, que determina a força com que o modelo segue o prompt fornecido. Uma escala CFG mais alta dá mais influência ao prompt, enquanto uma escala CFG mais baixa permite que o modelo incorpore mais aleatoriedade do seu espaço latente.

A escala CFG é especialmente importante nos fluxos de trabalho de imagem para imagem, em que se pretende manter detalhes específicos da imagem de entrada e, ao mesmo tempo, introduzir alterações estilísticas.

Parâmetros-chave nos prompts de imagem para imagem

1. Elaboração de prompts eficazes

Ao criar prompts para fluxos de trabalho de imagem para imagem, é essencial incluir elementos de conteúdo e de estilo. Um prompt bem elaborado garante que o modelo gera imagens alinhadas com a sua visão criativa.

Exemplos de prompts:

Prompt de conteúdo:
Picos de montanha majestosos, vales verdes e exuberantes, luz solar dourada a atravessar as nuvens, névoa atmosférica, sereno e tranquilo.
Prompt de estilo:
Pintura em aguarela, pinceladas suaves, paleta de cores vibrante mas natural, impressão artística.
Prompt negativo:
Sem edifícios, sem veículos, sem pessoas, sem objetos artificiais.

Os prompts negativos são fundamentais para eliminar elementos indesejados que poderiam prejudicar a composição pretendida.

2. Intensidade de remoção de ruído

O parâmetro de intensidade de remoção de ruído controla quanto da imagem original é substituído pelo processo generativo.

Remoção de ruído alta (p. ex., 1.0): transforma completamente a imagem de entrada com base no prompt.
Remoção de ruído média (p. ex., 0.5): equilibra a imagem de entrada com modificações estilísticas.
Remoção de ruído baixa (p. ex., 0.0–0.3): mantém a maior parte da imagem original, aplicando alterações artísticas mínimas.

3. Definições de agendadores e amostragens

O ComfyUI oferece uma grande variedade de amostragens e agendadores para afinar o processo de geração de imagens:

Amostragem DPM++2M: conhecida pela precisão e pelos resultados de alta qualidade.
Agendador Karras: otimizado para resultados mais rápidos com menos passos, centrando-se nas fases iniciais da difusão.

Otimização do fluxo de trabalho

Passo 1: ajustar a escala CFG

Aumentar a escala CFG amplifica a influência do prompt, permitindo resultados mais estilizados. Por exemplo:

Escala CFG de 7–8: produz resultados equilibrados que combinam o prompt e a imagem original.
Escala CFG de 10–12: forte fidelidade ao prompt, mas pode levar a sobreajuste ou alucinações.

Ao usar escalas CFG altas, é essencial combiná-las com valores de remoção de ruído adequados para evitar desvios excessivos em relação à imagem de entrada.

Passo 2: afinar as definições de remoção de ruído

Para alcançar o equilíbrio desejado entre a imagem original e o estilo artístico:

Comece com um valor de remoção de ruído de 0.5 para uma difusão moderada.
Reduza gradualmente o valor de remoção de ruído em pequenos incrementos (p. ex., 0.45, 0.44) para afinar os detalhes, preservando a imagem original.
Evite valores próximos de 0.0, pois produzirão resultados quase idênticos à imagem de entrada.

Passo 3: usar o agendador Karras para maior eficiência

O agendador Karras permite usar menos passos, mantendo resultados de alta qualidade. Por exemplo:

30 passos: produz resultados detalhados e refinados.
8 passos: gera composições mais rápidas e aleatórias.

Resultados de exemplo

Comparação de valores de remoção de ruído

Usando uma imagem de uma paisagem montanhosa, foram observados os seguintes resultados:

Remoção de ruído 1.0: pintura em aguarela totalmente estilizada, sem qualquer semelhança com a imagem original.

Remoção de ruído 0.5: representação artística equilibrada, com picos reconhecíveis.

Remoção de ruído 0.3: quase idêntica à imagem original, com subtis melhorias artísticas.

Remoção de ruído 0.0: imagem puramente reamostrada, indistinguível da entrada.

Impacto da escala CFG

Com uma escala CFG de 10 e uma remoção de ruído de 0.4, a imagem final manteve o estilo artístico e correspondeu fielmente aos detalhes da fotografia original. No entanto, aumentar demasiado a CFG (p. ex., CFG 12 com remoção de ruído 1.0) resultou em sobreajuste e em resultados pouco realistas.

Dicas para o ajuste fino

Experimente a escala CFG:
- Comece com um valor moderado (p. ex., 8) e ajuste-o de acordo com o resultado pretendido.
- Evite valores excessivamente altos, salvo se o prompt exigir uma influência forte.
Use prompts negativos:
- Elimine elementos indesejados, como edifícios, veículos ou objetos artificiais.
Otimize os passos com o agendador Karras:
- Use menos passos (p. ex., 8) para resultados mais rápidos.
- Aumente os passos (p. ex., 30) para resultados detalhados.
Ajuste os valores de remoção de ruído de forma iterativa:
- Afine as definições de remoção de ruído em pequenos incrementos (p. ex., 0.5 → 0.45 → 0.44) para obter o melhor equilíbrio.

Conclusão

A elaboração de prompts e a escala CFG são ferramentas poderosas nos fluxos de trabalho de imagem para imagem, permitindo aos utilizadores controlar o estilo artístico e a fidelidade das imagens geradas. Ao ajustar cuidadosamente parâmetros como a intensidade de remoção de ruído, a escala CFG e as definições de amostragem, os utilizadores podem criar transformações impressionantes que respeitam a imagem original e incorporam melhorias criativas.

Se pretende aprofundar os fluxos de trabalho de imagem para imagem, reveja o nosso artigo anterior e experimente as técnicas aqui descritas para afinar ainda mais os seus resultados.