Introducción
En nuestro artículo anterior, Optimizar la resolución de inpainting en ComfyUI, exploramos técnicas para mejorar la resolución en flujos de trabajo de inpainting con modelos especializados. Sobre esa base, este artículo se centra en el inpainting con modelos de difusión genéricos, que ofrece un enfoque versátil para escenarios en los que los modelos de inpainting especializados no están disponibles o no son adecuados.
Esta guía te lleva paso a paso por el proceso y destaca nodos clave como Set Latent Noise Mask y Remove Latent Mask para lograr resultados perfectos. Al final, entenderás cómo refinar texturas, equilibrar los parámetros de eliminación de ruido y adaptar flujos de trabajo para obtener resultados consistentes, aprovechando al mismo tiempo la flexibilidad de los modelos genéricos.
Vamos a sumergirnos en el flujo de trabajo y explorar cómo usar modelos de difusión genéricos para inpainting en ComfyUI.
Índice
¿Por qué usar modelos de difusión genéricos para inpainting?
- Limitaciones de los modelos especializados: Modelos como Flux.1 Schnell pueden fallar en ciertos escenarios, especialmente al trabajar con modelos destilados.
- Ventajas de los modelos de difusión genéricos: Los modelos genéricos, como Juggernaut XL, ofrecen mayor compatibilidad y mejor calidad de imagen en aplicaciones no comerciales.
- Caso de uso ideal: Este enfoque es perfecto para preservar las texturas originales mientras se genera contenido nuevo en las zonas enmascaradas.
Flujo de trabajo paso a paso para inpainting con modelos de difusión genéricos
Paso 1: Preparar la imagen y la máscara
- Cargar la imagen de fondo:
- Usa el nodo Load Image en ComfyUI para importar tu imagen.
- Crear la máscara:
- Haz clic derecho en la imagen y elige Open in Mask Editor.
- Pinta sobre la zona que quieres retocar (por ejemplo, quitar una mesa).
Paso 2: Configurar el grafo
- Añadir nodos KSampler Advanced:
- Usa dos nodos KSampler para el refinado:
- El primer nodo realiza la mayoría de los pasos de difusión (por ejemplo, 18 de 20).
- El segundo nodo remuestrea la imagen para mantener la coherencia (por ejemplo, 2 pasos).
- Configura los prompts:
- Primer nodo: Especifica los detalles de la zona retocada (por ejemplo, “empty room, carpet textured”).
- Segundo nodo: Incluye el prompt completo para que coincida con la imagen original.
- Usa dos nodos KSampler para el refinado:
- Ajustar los parámetros de denoise:
- Para los nodos KSampler estándar, establece valores de denoise entre 0.6 and 0.8 para obtener resultados óptimos.
- Para los nodos avanzados, controla manualmente la adición de ruido durante los pasos de difusión.
Paso 3: Usar Set Latent Noise Mask
- Propósito: Separa zonas para operaciones de imagen a imagen y generación de ruido aleatorio.
- Configuración:
- Conecta la imagen latente de VAE Encode al nodo Set Latent Noise Mask.
- Conecta la máscara del nodo Load Image al mismo nodo.
- Envía la salida latente al primer nodo KSampler.
Paso 4: Refinar el flujo de trabajo con Remove Latent Mask
- Propósito: Garantiza que el proceso de remuestreo se aplique a toda la imagen, no solo a las zonas enmascaradas.
- Configuración:
- Instala el ComfyUI Essentials Node Pack a través del Manager.
- Añade el nodo Remove Latent Mask entre los dos nodos KSampler.
Paso 5: Comparar los resultados
- Añade el nodo Image Comparer (disponible en el paquete de nodos rgthree).
- Conecta la imagen original y la salida decodificada de VAE Decode a las entradas del comparador.
- Expande el nodo comparador para analizar las diferencias entre el antes y el después.
La optimizada:
Ideas clave para optimizar los resultados
- Selección del modelo: Juggernaut XL ofrece texturas más suaves y mejor antialiasing en comparación con otros modelos.
- Valores de eliminación de ruido: Experimenta con valores entre 0.6 and 0.8 para una preservación equilibrada del contexto.
- Configuración de prompts: Usa prompts específicos para las zonas retocadas y prompts completos para mantener la coherencia en el remuestreo.
Conclusión
El inpainting con modelos de difusión genéricos en ComfyUI ofrece una alternativa flexible y potente a los flujos de trabajo especializados. Al aprovechar nodos como Set Latent Noise Mask y Remove Latent Mask, puedes lograr resultados perfectos que preservan las texturas originales mientras generan contenido nuevo. Tanto si trabajas en proyectos comerciales como no comerciales, este enfoque permite un mayor control sobre la calidad y el refinado de la imagen.
Para técnicas más avanzadas y consejos de resolución de problemas, consulta nuestro artículo anterior sobre Optimización de la resolución de inpainting en ComfyUI.