El inpainting es una técnica fundamental en la generación de arte impulsada por IA, especialmente cuando se requieren composiciones precisas, varios sujetos o diseños complejos.El inpainting con modelos especializados permite a los creadores superar las limitaciones de los prompts de texto, que a menudo pueden dar lugar a resultados inesperados o ignorados cuando superan los 30 tokens. Este artículo explora el proceso de inpainting, centrándose en los modelos de Stable Diffusion, y ofrece ideas prácticas para mejorar su flujo de trabajo.
Índice
¿Qué es el inpainting y por qué es importante?
El inpainting consiste en modificar zonas concretas de una imagen existente sin alterar el contenido circundante. Esta técnica es inestimable cuando un prompt por sí solo no puede lograr los resultados deseados, ya que permite dividir el proceso de generación en pasos manejables.
Por ejemplo, puede crear primero una imagen de fondo y luego usar el inpainting para insertar un sujeto en primer plano, como un personaje o un objeto. Este enfoque por capas garantiza un mayor control sobre la composición y evita los inconvenientes de sobrecargar el codificador de texto.
El papel de los modelos de inpainting especializados
Los modelos de inpainting especializados están entrenados específicamente para este fin y ofrecen resultados superiores a los de los modelos generales. Por ejemplo, si ha usado el modelo Realistic Vision 5.1 para generar su fondo, combinarlo con el correspondiente modelo de inpainting Realistic Vision 5.1 dará los mejores resultados. Estos modelos suelen estar disponibles en plataformas como Civitai.
Configuración clave para los modelos de inpainting:
- Instalación del modelo: asegúrese de que el modelo de inpainting se coloca en la carpeta correcta. En ComfyUI, esto significa colocarlo en la carpeta
models/Checkpointy no en la carpetamodels/Inpainting. - Compatibilidad de resolución: use imágenes con resoluciones que coincidan con las dimensiones nativas del modelo (p. ej., 512×512 para Realistic Vision 5.1). Las resoluciones no coincidentes pueden dar lugar a resultados distorsionados.
Flujo de trabajo de inpainting paso a paso en ComfyUI
1. Cargar el modelo de inpainting
- Abra ComfyUI y cargue el modelo de inpainting en el nodo Load Checkpoint.
- Compruebe que el modelo incluye la VAE (autoencoder variacional) para un rendimiento óptimo.
2. Preparar la imagen base
- Use un nodo Load Image para subir su imagen de fondo preparada.
- Asegúrese de que la resolución de la imagen se ajusta a la configuración óptima del modelo.
3. Configurar la codificación VAE para inpainting
- Añada un nodo VAE Encode for Inpainting a su flujo de trabajo. Este nodo conecta la imagen latente con el KSampler y acepta tres entradas:
- VAE: conéctela desde el nodo Checkpoint.
- Pixels: conéctela desde el nodo Load Image.
- Mask: conéctela desde el nodo Load Image para indicar la zona que desea modificar.
4. Crear y editar la máscara
- Haga clic con el botón derecho en el nodo Load Image y seleccione Open in Mask Editor.
- Use el pincel circular para dibujar la zona en la que se realizará el inpainting. Ajuste el tamaño del pincel con las teclas
[ ]. - Guarde la máscara en el nodo una vez terminada.
Consejo profesional: la forma de la máscara es solo una indicación general de dónde se colocará el nuevo sujeto. No define los contornos exactos del sujeto.
5. Definir el prompt
- Escriba un prompt claro y conciso, como:
«Un barco en el océano.» - Use un prompt negativo para excluir elementos no deseados, p. ej.,«feo, deforme, grotesco.»
6. Generar y refinar
- Ponga en cola el flujo de trabajo y revise el resultado. Si el resultado no es satisfactorio:
- Ajuste el tamaño o la forma de la máscara.
- Vuelva a aleatorizar la semilla.
- Experimente con distintos prompts o parámetros.
Nota: las zonas de máscara más pequeñas pueden dar lugar a resultados distorsionados, porque utilizan solo una parte limitada del espacio latente del modelo. Para obtener mejores resultados, pruebe a ampliar la máscara o a aumentar la resolución.
Todo el flujo de trabajo
Imagen original:
Inpainting:
Resolución de problemas habituales
- Resultados borrosos o distorsionados:
- Asegúrese de que la resolución de la imagen coincide con las especificaciones del modelo.
- Use una zona de máscara más grande para reducir las distorsiones.
- Resultados poco realistas o antinaturales:
- Vuelva a aleatorizar la semilla y refine la máscara.
- Use un modelo de inpainting especializado compatible con su modelo base.
- Limitaciones del modelo:
- Si el modelo de inpainting tiene dificultades con los detalles pequeños, considere dividir la tarea en pasos más pequeños o usar imágenes de mayor resolución.
Recursos adicionales
- Documentación de Stable Diffusion
- Repositorio de modelos de Civitai
- Repositorio de ComfyUI en GitHub
Conclusión
El inpainting con modelos especializados como Realistic Vision 5.1 ofrece un control inigualable sobre las composiciones generadas por IA. Si sigue los pasos descritos anteriormente, puede lograr resultados precisos y visualmente atractivos. Recuerde experimentar con máscaras, prompts y semillas para refinar aún más su flujo de trabajo.