C31: Ajuste de modelos de difusión con LoRA: guía paso a paso

Los LoRA, o adaptaciones de bajo rango, están revolucionando la forma en que los modelos de difusión generan estilos y temas específicos. Al modificar los pesos de las capas de atención cruzada dentro de un modelo de difusión, los LoRA permiten a los creadores ajustar los resultados para necesidades artísticas o técnicas únicas. En este artículo, exploraremos cómo funcionan los LoRA, sus aplicaciones prácticas y una guía paso a paso para integrarlos en flujos de trabajo con herramientas como ComfyUI.

Índice

¿Qué son los LoRA?

Los LoRA (adaptaciones de bajo rango) son modelos pequeños diseñados para guiar a los modelos de difusión hacia resultados específicos, como reproducir un estilo o tema único. Lo logran descomponiendo grandes matrices de datos en matrices más pequeñas y de menor rango, que requieren menos almacenamiento y potencia de cálculo. Esto convierte a los LoRA en una solución eficiente y escalable para ajustar modelos de difusión sin necesidad de reentrenar todo el modelo.

Características clave de los LoRA:

Eficiencia de datos: los LoRA almacenan muchos menos datos que los modelos de difusión completos y se centran solo en los parámetros necesarios para la adaptación.
Modificación de las capas de atención cruzada: los LoRA ajustan capas específicas dentro del modelo de difusión para lograr los resultados deseados.
Flexibilidad: los LoRA se pueden aplicar a diversos ámbitos, como el arte, la generación de imágenes y el modelado técnico.

Ejemplo práctico: usar LoRA en ComfyUI

Para demostrar el poder de los LoRA, veamos un ejemplo práctico con Aether Cloud LoRa. Este LoRA está diseñado específicamente para modelos SDXL.

Paso 1: Configurar el flujo de trabajo

En ComfyUI, empieza creando un flujo de trabajo básico de texto a imagen con el modelo Juggernaut XL. Este modelo produce nubes de alta calidad, pero con la incorporación de un LoRA, el resultado se puede refinar aún más.

Cargar el LoRA:
- Usa LoraLoaderModelOnly para cargar el modelo LoRA.
- Conecta este nodo entre el nodo de carga de checkpoint y el nodo KSampler.

Ajustar la intensidad del modelo:
- El parámetro de intensidad del modelo controla cuánta influencia tiene el LoRA en el resultado.
- Empieza con una intensidad predeterminada de 1 y ajústala según sea necesario.

Paso 2: Comparar los resultados

Con el LoRA cargado, pon en cola el flujo de trabajo y compara los resultados:

Sin LoRA: las nubes generadas por Juggernaut XL son realistas pero carecen de estilo artístico.
Con LoRA (intensidad 1): el resultado se vuelve más abstracto y refleja las características únicas del LoRA Aether Cloud.

Para encontrar un equilibrio entre realismo y abstracción, reduce la intensidad a 0,5 y vuelve a ejecutar el flujo de trabajo. Este ajuste combina las propiedades intrínsecas de Juggernaut XL con el estilo artístico del LoRA.

Paso 3: Aumentar el detalle

Para obtener más detalle, aumenta el número de pasos de inferencia en el nodo KSampler:

20 pasos: produce resultados aceptables pero sin detalles finos.
30 pasos: añade detalles convincentes y mejora la calidad general.

Técnicas avanzadas: inpainting con LoRA

Los LoRA también se pueden usar para inpainting, lo que te permite modificar zonas específicas de una imagen conservando la composición general.

Ejemplo: crear una nube en forma de corazón

Configurar el flujo de trabajo de inpainting:
- Usa los nodos CropAndStitch y dibuja una máscara sobre la zona que quieres modificar.
- Ajusta parámetros como denoise strength (por ejemplo, 0,8) para que la imagen subyacente aporte una forma aproximada para la nueva generación.
Modificar el prompt:
- Usa un prompt específico como “two birds kiss each other in the sky.”
Ejecutar el flujo de trabajo:
- Pon en cola el flujo de trabajo y compara el resultado del inpainting con la imagen original.

Esta técnica permite un control preciso del resultado, combinando las características del LoRA con el modelo base para lograr efectos impresionantes.

Buenas prácticas para usar LoRA

Experimentar con los parámetros de intensidad: ajusta la intensidad del modelo para equilibrar las propiedades del modelo original con la influencia del LoRA.
Optimizar los pasos de inferencia: más pasos suelen dar más detalle, pero pueden aumentar el tiempo de procesamiento.
Combinar con el codificador de texto CLIP: algunos LoRA requieren conexión con el codificador de texto CLIP para un rendimiento óptimo.