Introducción
Uno de los desafíos habituales en la generación de imágenes con IA es lograr una dirección artística. Aunque los prompts pueden guiar el estilo general y el contenido de una imagen, a menudo se quedan cortos cuando se trata de controlar detalles de composición, como la dirección en pantalla o la colocación de objetos.
En este artículo, veremos cómo ControlNet puede usarse en los flujos de trabajo de ComfyUI para superar estas limitaciones. Al aprovechar los modelos ControlNet, puedes guiar la composición de tus imágenes generadas con entradas externas como dibujos de líneas o mapas de bordes. Este enfoque te permite lograr un mayor grado de control y precisión en tu proceso de generación de imágenes.
Tabla de contenidos
El problema: limitaciones de los prompts en la composición
Consideremos un ejemplo: generar una imagen de un perro mirando hacia la derecha de la pantalla. Incluso con un prompt cuidadosamente elaborado que especifica “facing screen right,” la imagen generada por el modelo de difusión Juggernaut XL no cumple este requisito. En lugar de mirar hacia la derecha de la pantalla, el perro mira hacia la izquierda.
Este resultado pone de relieve una limitación clave: los modelos de difusión y los codificadores de texto a menudo tienen dificultades para entender prompts espaciales o direccionales. La única alternativa sería probar semillas aleatorias hasta dar con la composición deseada, un proceso lento e ineficiente.
Presentación de ControlNet
ControlNet ofrece una solución al introducir conditioning externo basado en imágenes en el flujo de trabajo. Funciona analizando una imagen de referencia y aplicando su estructura o composición a la salida generada.
Los modelos ControlNet están diseñados para funcionar con modelos de difusión específicos. Para este ejemplo, usaremos el modelo controlnet-scribble-sdxl-1.0, que es compatible con el modelo de difusión refinado SDXL. El Scribble ControlNet acepta dibujos de líneas simples como entrada, lo que lo hace ideal para guiar la composición de forma aproximada.
Cómo configurar ControlNet en ComfyUI
Paso 1: Descargar e instalar el modelo ControlNet
- Descarga el modelo controlnet-scribble-sdxl-1.0 desde xinsir/controlnet-scribble-sdxl-1.0 at main, el nombre original es diffusion_pytorch_model.safetensors.
- Coloca el archivo del modelo en el siguiente directorio:
/models/controlnety cambia su nombre a controlnet-scribble-sdxl-1.0.safetensors, tendrás que reiniciar ComfyUI para cargar el archivo del modelo.
Paso 2: Construir el flujo de trabajo
En ComfyUI, tendrás que crear un flujo de trabajo que integre el modelo ControlNet en tu proceso de generación de imágenes.
Modelo original:
Sigue estos pasos:
1. Cargar el modelo ControlNet
- Añade un nodo Load ControlNet Model.
- Selecciona el modelo controlnet-scribble-sdxl-1.0 de la lista.
2. Apply ControlNet
- Añade un nodo Apply ControlNet.
- Desconecta el conditioning del nodo KSampler y redirígelo a través del nodo Apply ControlNet.
3. Cargar la imagen de entrada
- Añade un nodo Load Image.
- Sube tu dibujo de líneas (p. ej., un boceto sencillo de la composición deseada).
- Conecta la imagen al nodo Apply ControlNet.
4. Completar las conexiones
- Conecta el modelo ControlNet al nodo Apply ControlNet.
- Opcionalmente, conecta el VAE al nodo Apply ControlNet para completar el flujo (aunque no afectará a los resultados en este caso).
Paso 3: Generar la imagen
Una vez configurado el flujo de trabajo, ponlo en cola para generar la imagen. ControlNet guiará la composición según el dibujo de líneas subido.
Boceto original:
El prompt que estoy usando: nature photography, dog, standing on the grass, daylight, (bokeh:1.5)
Salida:
Resultados y refinamientos
Salida inicial
Al usar el modelo ControlNet Scribble, el perro generado sigue ahora la composición correcta. Sin embargo, la influencia de ControlNet está al máximo por defecto, lo que puede dar resultados poco naturales si el dibujo de entrada es impreciso o demasiado simplista.
Por ejemplo, si el boceto subido carece de precisión anatómica, la imagen generada puede parecer artificial o distorsionada.
Equilibrio de la influencia de ControlNet
Para solucionarlo, puedes ajustar los parámetros de influencia de ControlNet para lograr un equilibrio entre el dibujo de entrada y el refinamiento natural del modelo generativo. Esto permite que el modelo complete los detalles que faltan sin dejar de respetar la composición deseada.
Tipos de modelos ControlNet
ControlNet ofrece varias versiones, cada una adaptada a casos de uso específicos:
- Scribble ControlNet: Acepta dibujos de líneas simples para guiar la composición de forma aproximada.
- Canny ControlNet: Extrae detalles de bordes de una imagen de entrada para guiar la composición.
- Depth ControlNet: Analiza la información de profundidad para crear imágenes con relaciones espaciales realistas.
Según tus necesidades, puedes elegir el modelo ControlNet adecuado para guiar tu flujo de trabajo.
Aplicaciones prácticas
ControlNet es especialmente útil para:
- Colocación precisa de objetos: Garantizar que los objetos aparezcan en ubicaciones u orientaciones concretas.
- Composiciones personalizadas: Lograr diseños únicos que son difíciles de describir solo con prompts de texto.
- Dirección artística: Combinar bocetos o referencias externos con IA generativa para obtener resultados creativos.
Conclusión
Usar ControlNet en flujos de trabajo de ComfyUI permite un mayor control sobre la composición de la imagen y supera las limitaciones de la generación basada en prompts. Al integrar entradas externas como dibujos de líneas, puedes guiar la colocación y la orientación de los objetos con precisión.
En el siguiente paso, experimenta con el equilibrio de la influencia de ControlNet para lograr resultados naturalistas y visualmente atractivos. Ya sea que trabajes en proyectos artísticos o en tareas de diseño concretas, ControlNet abre nuevas posibilidades para la dirección creativa en la generación de imágenes con IA.