C10: Dominar los muestreadores y planificadores de los modelos de difusión: guía completa

Cuando se trabaja con modelos de difusión, comprender el funcionamiento de los muestreadores y los planificadores es fundamental para lograr resultados óptimos. Estos componentes influyen en cómo se elimina el ruido del espacio latente, dando forma a la calidad y las características del resultado final. Esta guía profundiza en el funcionamiento de los muestreadores, explica su importancia y ofrece pasos prácticos para elegir las mejores combinaciones de muestreador y planificador para tus flujos de trabajo.

¿Qué son los muestreadores?

Los muestreadores son algoritmos que guían el proceso de difusión, la base de la generación de imágenes en los modelos de difusión. En términos generales, los modelos de difusión empiezan con un campo de ruido aleatorio y lo refinan de forma iterativa para producir una imagen coherente. Los muestreadores determinan cómo se produce este refinamiento controlando el proceso de eliminación de ruido en cada paso.

Cómo funcionan los muestreadores

Representación del espacio latente:
Los modelos de difusión operan en un espacio latente, una representación de alta dimensión de la imagen. Al principio, el espacio latente está lleno de ruido aleatorio.
Refinamiento iterativo:
El muestreador funciona eliminando ruido del espacio latente de forma iterativa mediante una serie de operaciones matemáticas. Estas operaciones están definidas por el algoritmo de muestreo, que determina el ritmo y la forma de la eliminación de ruido.
Inyección de ruido (opcional):
Algunos muestreadores, como los muestreadores ancestrales, inyectan ruido adicional en cada paso. Este enfoque estocástico introduce aleatoriedad, lo que permite al modelo explorar posibilidades más diversas y resolver detalles más finos.
Convergencia frente a divergencia:
- Muestreadores convergentes: Refina gradualmente el espacio latente para que los pasos posteriores se parezcan mucho a los anteriores, produciendo resultados más suaves y predecibles.
- Muestreadores divergentes: Introduce aleatoriedad para que los pasos posteriores puedan divergir de los anteriores, lo que puede dar lugar a resultados más naturalistas o detallados.
Decodificación final:
Una vez completado el proceso de refinamiento, el espacio latente se decodifica con un decodificador específico del modelo (por ejemplo, el decodificador DAE) para producir la imagen final.

Por qué importan los muestreadores

Los muestreadores son fundamentales porque influyen directamente en:

Calidad de imagen: La suavidad, la resolución de detalles y la presencia de artefactos dependen del muestreador utilizado.
Compatibilidad con el modelo: No todos los muestreadores funcionan con todos los modelos de difusión. Elegir un muestreador incompatible puede dar lugar a malos resultados o incluso a salidas inutilizables.
Tiempo de procesamiento: Algunos muestreadores son computacionalmente más pesados que otros, lo que afecta al tiempo necesario para generar la imagen.

Muestreadores populares explicados

Muestreadores en un flujo de trabajo de ComfyUI

Nombre del muestreador	Descripción	Caso de uso	Ventajas	Desventajas
Euler	Un muestreador simple y rápido que usa el método de Euler para eliminar el ruido.	Flujos de trabajo básicos, pruebas rápidas y modelos de baja complejidad.	Rápido y computacionalmente eficiente.	Puede producir resultados menos detallados o de menor calidad.
Euler_Cfg_PP	Muestreador Euler combinado con CFG (orientación sin clasificador) para un mejor control.	Escenarios que requieren una orientación precisa para la generación de imágenes.	Añade un mejor control sobre el resultado final.	Ligeramente más lento que el muestreador Euler básico.
Euler_Ancestral	Una variante de Euler que introduce aleatoriedad para obtener resultados más diversos.	Flujos de trabajo creativos que requieren variaciones en el resultado.	Produce resultados diversos y únicos.	Puede introducir ruido o incoherencia en los resultados.
Euler_Ancestral_Cfg_PP	Combina Euler Ancestral con CFG para obtener resultados guiados pero diversos.	Flujos de trabajo creativos con aleatoriedad controlada.	Equilibra eficazmente la diversidad y el control.	Puede ser más lento y computacionalmente más intensivo.
Heun	Un muestreador que usa el método de Heun para mejorar la precisión en la eliminación de ruido.	Escenarios que requieren mayor precisión que Euler.	Produce resultados más suaves y refinados.	Ligeramente más lento que Euler debido a su mayor precisión.
DPM_2	Un muestreador de modelo probabilístico de difusión con eliminación de ruido (DPM) de segundo orden.	Flujos de trabajo de alta calidad que requieren resultados detallados.	Produce resultados de alta calidad con detalles finos.	Computacionalmente intensivo y más lento.
DPM_2_Ancestral	Introduce aleatoriedad en el muestreador DPM_2 para obtener resultados diversos.	Flujos de trabajo creativos que requieren variedad en los resultados.	Produce resultados diversos manteniendo la calidad.	Puede producir resultados incoherentes.
DPM_Fast	Una variante más rápida de DPM, diseñada para la velocidad.	Flujos de trabajo que requieren resultados rápidos con una calidad aceptable.	Más rápido que otras variantes de DPM.	Puede sacrificar algo de detalle y calidad por velocidad.
DPM_Adaptive	Ajusta dinámicamente el proceso de eliminación de ruido durante la difusión.	Flujos de trabajo complejos que requieren un refinamiento adaptativo.	Produce resultados equilibrados y adaptativos.	Exigente en cómputo.
DPM++_2S_Cfg_PP	Un muestreador DPM++ guiado, optimizado para resultados de alta calidad.	Flujos de trabajo centrados en la precisión que requieren un refinamiento guiado.	Produce resultados muy refinados y detallados.	Más lento y requiere un ajuste cuidadoso.
DPM++_SDE	Un muestreador DPM++ basado en ecuaciones diferenciales estocásticas (SDE).	Escenarios que requieren control del ruido y resultados suaves.	Produce resultados suaves y sin artefactos.	Computacionalmente intensivo y más lento.
DPM++_2M	Un muestreador DPM++ de segundo orden y varios pasos.	Flujos de trabajo de alta calidad que requieren un refinamiento en varios pasos.	Produce resultados detallados y de alta calidad.	Exigente en cómputo.
DDIM	Muestreador de modelos implícitos de difusión con eliminación de ruido (DDIM) para una inferencia más rápida.	Escenarios que requieren resultados más rápidos con una calidad aceptable.	Más rápido que los muestreadores de difusión tradicionales.	Puede producir resultados ligeramente menos detallados.
Uni_PC	Un muestreador que usa métodos Uni-PC (predictor-corrector uniforme).	Flujos de trabajo que requieren una eliminación de ruido equilibrada.	Produce resultados equilibrados y predecibles.	Flexibilidad limitada en flujos de trabajo complejos.
Uni_PC_BH2	Una variante de Uni-PC con capacidades de eliminación de ruido mejoradas.	Flujos de trabajo de alta precisión que requieren resultados suaves.	Produce resultados más suaves y refinados que Uni-PC.	Exigente en cómputo.
IPNDM	Muestreador de modelo de difusión de ruido probabilístico iterativo.	Flujos de trabajo iterativos que requieren un control preciso del ruido.	Produce resultados muy detallados y refinados.	Más lento debido al procesamiento iterativo.
DEIS	Muestreador de inferencia eficiente basado en difusión.	Escenarios que requieren una inferencia eficiente y rápida.	Rápido y computacionalmente eficiente.	Puede sacrificar algo de calidad por velocidad.
Gradient_Estimation	Un muestreador centrado en estimar gradientes durante la difusión.	Flujos de trabajo de investigación que requieren análisis de gradientes.	Proporciona información detallada sobre gradientes.	No está optimizado para la generación de imágenes de uso general.

¿Qué son los planificadores?

Los planificadores controlan el proceso de muestreo definiendo cómo se elimina el ruido en cada paso. Mientras los muestreadores dictan el algoritmo utilizado para el refinamiento, los planificadores determinan el ritmo y el patrón de la eliminación de ruido.

Cómo funcionan los planificadores

Los planificadores orquestan el proceso de muestreo mediante:

Estrategia de eliminación de ruido:
Determinar si se elimina la misma cantidad de ruido en cada paso o si se ajusta la tasa de forma dinámica.
Ajuste de pasos:
Controlar cómo evoluciona el proceso de refinamiento a medida que aumenta el número de pasos. Por ejemplo:
- Los planificadores uniformes eliminan una cantidad fija de ruido en cada paso.
- Los planificadores dinámicos reducen menos ruido a medida que avanza el proceso, lo que permite ajustes más finos en los pasos posteriores.
Mejora del rendimiento del muestreador:
Combinar los muestreadores con el planificador adecuado puede mejorar significativamente la calidad de la imagen y reducir los artefactos.

Planificadores populares explicados

Planificador	Descripción	Caso de uso	Ventajas	Desventajas
Normal	El planificador predeterminado, que aplica un proceso estándar de eliminación uniforme de ruido.	Flujos de trabajo básicos y generación de imágenes de uso general.	Fácil de usar y ampliamente compatible con la mayoría de los muestreadores.	Puede producir resultados ruidosos o artefactos si no se combina con un muestreador óptimo.
Karras	Un planificador dinámico que ajusta la eliminación de ruido de forma progresiva, mejorando a menudo los resultados.	Flujos de trabajo avanzados que requieren resultados de alta calidad y sin artefactos.	Reduce los artefactos y mejora la calidad de la imagen.	Puede requerir ajustes finos para muestreadores específicos.
Exponential	Reduce el ruido gradualmente siguiendo un patrón exponencial, con énfasis en los primeros pasos.	Escenarios en los que el refinamiento en las primeras etapas es fundamental.	Produce transiciones más suaves en el espacio latente.	Puede tener dificultades para resolver detalles finos en los pasos posteriores.
SGM_Uniform	Un planificador adaptado a los métodos de gradiente estocástico, que aplica una eliminación uniforme de ruido.	Adecuado para flujos de trabajo estocásticos y modelos optimizados para técnicas SGM.	Garantiza una eliminación de ruido constante en todos los pasos.	Puede carecer de flexibilidad para modelos que requieren un ajuste dinámico del ruido.
Simple	Un planificador sencillo con una complejidad mínima.	Pruebas rápidas y flujos de trabajo en los que se prefiere la simplicidad.	Rápido y fácil de configurar.	Capacidades de optimización limitadas para resultados de alta calidad.
DDIM_Uniform	Un planificador diseñado para DDIM (modelos implícitos de difusión con eliminación de ruido) con eliminación uniforme de ruido.	Flujos de trabajo basados en DDIM que requieren una reducción de ruido constante.	Garantiza la compatibilidad con los muestreadores DDIM.	Puede no funcionar bien con muestreadores que no sean DDIM.
Beta	Usa una distribución beta para controlar la eliminación de ruido, con énfasis en ciertos pasos.	Escenarios que requieren un énfasis específico en ciertas etapas del proceso de difusión.	Ofrece un mayor control sobre el patrón de eliminación de ruido.	Requiere una configuración detallada y comprender las distribuciones beta.
Linear_Quadratic	Combina patrones lineales y cuadráticos para la eliminación de ruido.	Flujos de trabajo complejos que requieren una mezcla de reducción de ruido gradual y agresiva.	Equilibra transiciones suaves y refinamientos marcados.	Puede producir resultados incoherentes si no se combina con el muestreador adecuado.
KL_Optimal	Un planificador optimizado mediante la divergencia KL para minimizar los artefactos de ruido.	Flujos de trabajo de alta precisión que requieren un ruido y unos artefactos mínimos.	Produce resultados de alta calidad y sin artefactos.	Computacionalmente intensivo y puede requerir un ajuste cuidadoso.

Karus Scheduler

Cómo funciona: Ajusta dinámicamente la tasa de eliminación de ruido según el número de pasos, optimizando el proceso de refinamiento para obtener resultados más suaves.
Ventajas: Mejora el rendimiento del muestreador, especialmente para muestreadores como dpmpp_2m.
Limitaciones: Puede requerir experimentación para encontrar los mejores ajustes para flujos de trabajo específicos.

Flujo de trabajo práctico: elegir muestreadores y planificadores

Proceso paso a paso

Elegir un muestreador:
- Empieza con un muestreador estándar como Euler para obtener resultados suaves y predecibles.
- Cambia a Euler Ancestral o UniPC para obtener resultados más naturalistas o de mayor contraste.
- Experimenta con los muestreadores de la familia DPM para tareas avanzadas.
Probar la compatibilidad:
- Asegúrate de que el muestreador sea compatible con tu modelo de difusión. Por ejemplo, evita LMS con Juggernaut XL.
Ejecutar el flujo de trabajo:
- Ejecuta el proceso de generación de imágenes con el muestreador seleccionado.
- Observa los resultados, fijándote en artefactos, convergencia o divergencia.
Ajustar el planificador:
- Si el resultado es ruidoso o tiene muchos artefactos, cambia a un planificador dinámico como Karus.
- Vuelve a ejecutar el flujo de trabajo y compara los resultados.
Comparar resultados:
- Usa el panel de cola para navegar entre las imágenes generadas por distintas combinaciones de muestreador y planificador.
- Evalúa las diferencias en detalle, contraste y resolución de artefactos.

Ejemplo: comparar muestreadores y planificadores

Configuración del escenario

Prompt: “A vibrant sunset over a mountain range with clouds, realistic style.”
Semilla fija: 599869489844012
CheckPoint: Realistic Vision 5.1
Pasos: 50
Escala CFG: 7.5
Resolución: 512×512

Tabla comparativa

Combinación de muestreador y planificador	Descripción del resultado	Fortalezas	Debilidades
Euler + Normal	Produce una imagen básica con un atardecer y montañas claros, pero sin detalles finos.	Rápido y computacionalmente eficiente.	Las nubes pueden parecer planas y los colores pueden carecer de viveza.
Euler_Ancestral + Karras	Genera una imagen más vibrante, con formaciones de nubes suaves y aleatorias.	Añade diversidad y un toque artístico a la imagen.	Puede introducir ligeras incoherencias en las formas de las montañas.
DPM++_2M + Exponential	Crea una imagen muy detallada y realista, con bordes de montaña nítidos y nubes suaves.	Produce resultados de alta calidad y fotorrealistas.	Computacionalmente intensivo y más lento.
DDIM + Linear_Quadratic	Produce una imagen equilibrada, con buen detalle y transiciones suaves entre los elementos.	Más rápido que las variantes de DPM++ manteniendo una calidad aceptable.	Puede carecer del refinamiento extremo de los muestreadores DPM++.
DPM++_2S_Cfg_PP + KL_Optimal	Genera un atardecer sorprendentemente realista, con intrincados detalles de nubes y texturas de montaña nítidas.	Ofrece el mayor refinamiento y un resultado sin artefactos.	Requiere recursos computacionales considerables y un tiempo de procesamiento mayor.
DPM_Fast + Beta	Produce una imagen razonablemente detallada, con buenos colores y texturas.	Más rápido que la mayoría de los muestreadores basados en DPM.	Puede sacrificar algo de detalle y nitidez por velocidad.
Gradient_Estimation + Karras	Genera una imagen artística con transiciones en forma de degradado entre el atardecer y las montañas.	Ideal para flujos de trabajo creativos o de investigación.	Puede no ser adecuado para resultados fotorrealistas.
DEIS + Normal	Produce una imagen rápida, moderadamente detallada y de calidad aceptable.	Extremadamente rápido y computacionalmente eficiente.	Las nubes y las montañas pueden parecer demasiado simplificadas.

Ejemplo de comparación visual

1. Euler + Normal

Resultado: Imagen básica con montañas y nubes visibles, pero sin texturas intrincadas.
Caso de uso: Prototipado o pruebas rápidas.

2. Euler_Ancestral + Karras

Resultado: Colores vibrantes con formaciones de nubes aleatorias, con tendencia a la interpretación artística.
Caso de uso: Flujos de trabajo creativos en los que se prioriza la diversidad.

3. DPM++_2M + Exponential

Resultado: Montañas y nubes muy detalladas, con transiciones suaves y efectos de iluminación realistas.
Caso de uso: Generación de imágenes de alta calidad y fotorrealistas.

4. DDIM + Linear_Quadratic

Resultado: Imagen equilibrada con buen detalle y degradados suaves, adecuada para uso general.
Caso de uso: Flujos de trabajo más rápidos sin sacrificar demasiada calidad.

Puntos clave

Muestreadores rápidos (Euler, DEIS):

Ideales para resultados rápidos, pero pueden carecer de detalle y refinamiento.

Útiles para prototipado o entornos con pocos recursos.

Muestreadores de alta calidad (variantes de DPM++):

Producen imágenes realistas y detalladas, pero son computacionalmente intensivos.

Ideales para la producción final o flujos de trabajo que requieren alta precisión.

Muestreadores creativos (variantes ancestrales):

Introducen aleatoriedad y diversidad, lo que los hace ideales para resultados artísticos.

Pueden sacrificar coherencia o realismo en aras de la creatividad.

Impacto del planificador:

Normal: Resultados estándar sin grandes mejoras.

Karras: Mejora la viveza y reduce los artefactos.

Exponential: Transiciones suaves y refinamiento temprano.

Consejos para optimizar la elección de muestreador y planificador

La experimentación es clave:
Prueba varias combinaciones de muestreador y planificador para encontrar la pareja óptima para tu modelo y caso de uso.
Comprender los requisitos del modelo:
Investiga la compatibilidad de tu modelo de difusión con muestreadores y planificadores específicos. Por ejemplo, los muestreadores de la familia DPM suelen requerir planificadores dinámicos para obtener los mejores resultados.
Usar muestreadores ancestrales para obtener diversidad:
Si tu objetivo es generar resultados diversos y naturalistas, considera usar muestreadores ancestrales como Euler Ancestral.
Aprovechar los planificadores dinámicos:
Combina los muestreadores con planificadores dinámicos como Karus para mejorar el rendimiento y reducir los artefactos.

Conclusión

Los muestreadores y los planificadores son la base de los modelos de difusión y dan forma a la calidad y las características de las imágenes generadas. Al comprender su funcionamiento y experimentar con combinaciones, puedes liberar todo el potencial de tus flujos de trabajo. Tanto si perfeccionas resultados suaves con muestreadores convergentes como si resuelves detalles intrincados con variantes ancestrales, el planificador adecuado puede marcar la diferencia.