C31: Ajuste de modelos de difusão com LoRAs: guia passo a passo

Os LoRAs, ou adaptações de baixa classificação, estão revolucionando a forma como os modelos de difusão geram estilos e temas específicos. Ao modificar os pesos das camadas de atenção cruzada dentro de um modelo de difusão, os LoRAs permitem que os criadores ajustem os resultados para necessidades artísticas ou técnicas únicas. Neste artigo, exploraremos como os LoRAs funcionam, suas aplicações práticas e orientações passo a passo para integrá-los a fluxos de trabalho usando ferramentas como o ComfyUI.

Índice

O que são LoRAs?

Os LoRAs (adaptações de baixa classificação) são modelos pequenos criados para guiar os modelos de difusão rumo a resultados específicos, como reproduzir um estilo ou tema único. Eles fazem isso decompondo grandes matrizes de dados em matrizes menores e de classificação mais baixa, que exigem menos armazenamento e poder computacional. Isso torna os LoRAs uma solução eficiente e escalável para ajustar modelos de difusão sem precisar treinar novamente o modelo inteiro.

Principais características dos LoRAs:

Eficiência de dados: os LoRAs armazenam bem menos dados do que os modelos de difusão completos, focando apenas nos parâmetros necessários para a adaptação.
Modificação das camadas de atenção cruzada: os LoRAs ajustam camadas específicas dentro do modelo de difusão para alcançar os resultados desejados.
Flexibilidade: os LoRAs podem ser aplicados a vários domínios, incluindo arte, geração de imagens e modelagem técnica.

Exemplo prático: usar LoRAs no ComfyUI

Para demonstrar o poder dos LoRAs, vamos ver um exemplo prático usando Aether Cloud LoRa. Esse LoRA foi criado especificamente para modelos SDXL.

Etapa 1: Configurar o fluxo de trabalho

No ComfyUI, comece criando um fluxo de trabalho básico de texto para imagem usando o modelo Juggernaut XL. Esse modelo produz nuvens de alta qualidade, mas com a adição de um LoRA, o resultado pode ser ainda mais refinado.

Carregar o LoRA:
- Use LoraLoaderModelOnly para carregar o modelo LoRA.
- Conecte este nó: nó de carregamento de checkpoint e nó KSampler.

Ajustar a intensidade do modelo:
- O parâmetro de intensidade do modelo controla quanta influência o LoRA tem no resultado.
- Comece com uma intensidade padrão de 1 e ajuste conforme necessário.

Etapa 2: Comparar os resultados

Com o LoRA carregado, coloque o fluxo de trabalho na fila e compare os resultados:

Sem LoRA: as nuvens geradas pelo Juggernaut XL são realistas, mas sem estilo artístico.
Com LoRA (intensidade 1): o resultado fica mais abstrato, refletindo as características únicas do LoRA Aether Cloud.

Para encontrar um equilíbrio entre realismo e abstração, reduza a intensidade para 0,5 e execute o fluxo de trabalho novamente. Esse ajuste combina as propriedades intrínsecas do Juggernaut XL com o estilo artístico do LoRA.

Etapa 3: Aumentar os detalhes

Para mais detalhes, aumente o número de etapas de inferência no nó KSampler:

20 etapas: produz resultados decentes, mas sem detalhes finos.
30 etapas: adiciona detalhes convincentes e melhora a qualidade geral.

Técnicas avançadas: inpainting com LoRAs

Os LoRAs também podem ser usados para inpainting, permitindo modificar áreas específicas de uma imagem e preservar a composição geral.

Exemplo: criar uma nuvem em forma de coração

Configurar o fluxo de trabalho de inpainting:
- Use os nós CropAndStitch e desenhe uma máscara sobre a área a ser modificada.
- Ajuste parâmetros como denoise strength (por exemplo, 0,8) para garantir que a imagem subjacente forneça uma forma aproximada para a nova geração.
Modificar o prompt:
- Use um prompt específico como “two birds kiss each other in the sky.”
Executar o fluxo de trabalho:
- Coloque o fluxo de trabalho na fila e compare o resultado do inpainting com a imagem original.

Essa técnica permite um controle preciso do resultado, combinando as características do LoRA com o modelo base para alcançar efeitos impressionantes.

Boas práticas para usar LoRAs

Experimentar com parâmetros de intensidade: ajuste a intensidade do modelo para equilibrar as propriedades do modelo original com a influência do LoRA.
Otimizar as etapas de inferência: mais etapas costumam gerar mais detalhes, mas podem aumentar o tempo de processamento.
Combinar com o codificador de texto CLIP: alguns LoRAs precisam de conexão com o codificador de texto CLIP para um desempenho ideal.