C20: Dominar a transformação de imagem para imagem no ComfyUI

Introdução

A transformação de imagem para imagem é uma técnica poderosa usada em modelos generativos baseados em IA para modificar ou melhorar imagens, convertendo-as para um espaço latente e aplicando processos de difusão. Ao contrário de começar a partir do ruído, esta abordagem permite trabalhar com imagens existentes e realizar transformações que respeitam o conteúdo original e incorporam alterações estilísticas. Este artigo explica como configurar um fluxo de trabalho de imagem para imagem no ComfyUI e explora parâmetros-chave, como os valores de remoção de ruído, para obter resultados ótimos.

---

---

O que é a transformação de imagem para imagem?

A transformação de imagem para imagem recorre a um autoencoder variacional (VAE) para codificar uma imagem no espaço latente, onde podem ser aplicadas modificações com técnicas de difusão. A imagem latente é depois descodificada de novo para o espaço de píxeis, produzindo uma nova imagem que reflete as alterações aplicadas. Este método é particularmente útil para tarefas como transferência de estilo, restauro de imagens e modificações criativas.

---

Configurar o fluxo de trabalho no ComfyUI

Para criar um fluxo de trabalho de imagem para imagem no ComfyUI, siga estes passos:

Passo 1: carregar a imagem

1. Adicione um Load Image Node:
   • Faça duplo clique na interface do ComfyUI e escreva LOAD.
   • Selecione o Load Image Node.
   • Clique para carregar o seu ficheiro de imagem.
   • Navegue até ao ficheiro de imagem pretendido e clique em Open. A imagem será copiada para a pasta de entrada do ComfyUI.
2. Verifique a localização da imagem:
   • Verifique o diretório de instalação do ComfyUI, na pasta input.
   • Elimine periodicamente os ficheiros antigos para manter a organização.

---

Passo 2: redimensionar a imagem

A maioria dos modelos generativos exige que as imagens cumpram parâmetros de resolução específicos. Para redimensionar a imagem:

1. Adicione um Upscale Image Node:
   • Faça duplo clique e escreva UPSCALE.
   • Selecione o Upscale Image Node.
   • Ligue este nó entre o Load Image Node e o VAE Encode Node.
2. Defina os parâmetros de resolução:
   • Adicione um Resolution Selector Node.
   • Converta os widgets de largura e altura em entradas, clicando com o botão direito sobre eles.
   • Especifique os valores de largura e altura pretendidos.

---

Passo 3: codificar a imagem no espaço latente

1. Adicione um VAE Encode Node:
   • Faça duplo clique e escreva VAE.
   • Selecione o VAE Encode Node.
   • Ligue a saída latente deste nó à entrada de imagem latente do K-Sampler Node.
2. Certifique-se de que o checkpoint do modelo fornece a VAE necessária.

---

Passo 4: configurar os parâmetros de amostragem

O K-Sampler Node permite controlar os principais parâmetros do processo de difusão:

• Passos: aumente o número de passos para melhorar a qualidade (p. ex., 30 passos).
• CFG Scale: defina a escala de orientação sem classificador (p. ex., 8.0) para equilibrar a fidelidade ao prompt e à imagem latente.
• Tipo de amostragem: use Euler para resultados consistentes.
• Intensidade de remoção de ruído: ajuste o valor de remoção de ruído para controlar a quantidade de ruído adicionada e removida durante o processo de difusão.

---

Compreender os valores de remoção de ruído

O parâmetro de intensidade de remoção de ruído determina quanto a imagem original é alterada durante o processo de difusão. Segue-se uma análise dos resultados com base em diferentes valores de remoção de ruído:

• 1.00: substitui completamente a imagem original por conteúdo gerado. É ideal para criar imagens totalmente novas com base no prompt de estilo.
• 0.5: equilibra a imagem original com as modificações estilísticas. É útil para preservar as características principais ao aplicar alterações artísticas.
• 0.2: altera minimamente a imagem original, garantindo uma alta fidelidade à imagem de entrada e aplicando, ao mesmo tempo, subtis melhorias estilísticas.
• 0.0: reproduz essencialmente a imagem original, com pequenas variações devidas ao processo de codificação e descodificação.

Resultados de exemplo

Usando uma imagem de Pinnacles como entrada, foram observados os seguintes resultados:

Imagem original:

• Remoção de ruído 1.00: gerou uma imagem completamente nova.

• Remoção de ruído 0.5: produziu uma versão pictórica de Pinnacles , mas com ligeiros desvios em relação à fotografia original.

• Remoção de ruído 0.2: alcançou uma grande semelhança com a imagem de entrada, respeitando o prompt de estilo.

• Remoção de ruído 0.0: reproduziu a fotografia original, embora ligeiramente difusa devido ao processamento no espaço latente.

---

Dicas para obter os melhores resultados

1. Escolha o valor de remoção de ruído adequado:
   • Para transformações significativas: use valores próximos de 1.00.
   • Para alterações subtis: use valores entre 0.2 e 0.5.
   • Para preservar a imagem original: use valores próximos de 0.0.
2. Afine o seu prompt:
   • Especifique claramente as instruções de estilo.
   • Evite incluir instruções relacionadas com o conteúdo se pretender que a imagem original predomine.
3. Tenha em conta o enviesamento dos dados de treino:
   • Tenha em conta que os conjuntos de dados de treino podem influenciar o resultado. Por exemplo, as perspetivas comuns nos dados de treino podem sobrepor-se às características únicas da sua imagem de entrada.

---

Comparação da imagem original com a imagem final

Depois de processar a imagem de Pinnacles com um valor de remoção de ruído de 0.2, o resultado correspondeu fielmente à fotografia original, aplicando melhorias artísticas. Isto demonstra a eficácia da transformação de imagem para imagem na combinação de prompts de estilo com imagens de entrada.

---

Conclusão

A transformação de imagem para imagem no ComfyUI oferece uma forma flexível e poderosa de modificar imagens com recurso à difusão no espaço latente. Ao configurar cuidadosamente os nós e os parâmetros, os utilizadores podem obter resultados que vão de melhorias subtis a transformações completas. Ajustar o valor de remoção de ruído é fundamental para equilibrar a imagem original com as modificações estilísticas.