Einführung
In unserem vorherigen Artikel, Optimieren der Inpainting-Auflösung in ComfyUI, haben wir Techniken zur Verbesserung der Auflösung bei Inpainting-Workflows mit spezialisierten Modellen erkundet. Aufbauend auf dieser Grundlage konzentriert sich dieser Artikel auf Inpainting mit generischen Diffusionsmodellen, und bietet einen vielseitigen Ansatz für Szenarien, in denen spezialisierte Inpainting-Modelle nicht verfügbar oder ungeeignet sind.
Diese Anleitung führt Sie Schritt für Schritt durch den Prozess und hebt wichtige Nodes hervor, wie zum Beispiel Set Latent Noise Mask und Remove Latent Mask, um nahtlose Ergebnisse zu erzielen. Am Ende werden Sie verstehen, wie Sie Texturen verfeinern, Denoising-Parameter ausbalancieren und Workflows für konsistente Ergebnisse anpassen – und dabei die Flexibilität generischer Modelle nutzen.
Tauchen wir ein in den Workflow und erkunden wir, wie man generische Diffusionsmodelle für Inpainting in ComfyUI verwendet.
Inhaltsverzeichnis
Warum generische Diffusionsmodelle für Inpainting verwenden?
- Einschränkungen spezialisierter Modelle: Modelle wie Flux.1 Schnell können in bestimmten Szenarien versagen, insbesondere bei der Arbeit mit destillierten Modellen.
- Vorteile generischer Diffusionsmodelle: Generische Modelle wie Juggernaut XL bieten eine breitere Kompatibilität und eine bessere Bildqualität bei nicht-kommerziellen Anwendungen.
- Idealer Anwendungsfall: Dieser Ansatz ist perfekt, um ursprüngliche Texturen zu bewahren und gleichzeitig neue Inhalte in maskierten Bereichen zu erzeugen.
Schritt-für-Schritt-Workflow für Inpainting mit generischen Diffusionsmodellen
Schritt 1: Bild und Maske vorbereiten
- Hintergrundbild laden:
- Verwenden Sie den Load Image Node in ComfyUI, um Ihr Bild zu importieren.
- Maske erstellen:
- Klicken Sie mit der rechten Maustaste auf das Bild und wählen Sie Open in Mask Editor.
- Malen Sie über den Bereich, den Sie inpainten möchten (z. B. das Entfernen eines Tisches).
Schritt 2: Den Graphen einrichten
- KSampler Advanced Nodes hinzufügen:
- Verwenden Sie zwei KSampler-Nodes zur Verfeinerung:
- Der erste Node führt den Großteil der Diffusionsschritte aus (z. B. 18 von 20).
- Der zweite Node tastet das Bild zur Konsistenz erneut ab (z. B. 2 Schritte).
- Prompts konfigurieren:
- Erster Node: Geben Sie Details für den inpainteten Bereich an (z. B. “empty room, carpet textured”).
- Zweiter Node: Fügen Sie den vollständigen Prompt hinzu, um dem Originalbild zu entsprechen.
- Verwenden Sie zwei KSampler-Nodes zur Verfeinerung:
- Denoise-Parameter anpassen:
- Stellen Sie für Standard-KSampler-Nodes Denoise-Werte zwischen 0.6 and 0.8 ein, um optimale Ergebnisse zu erzielen.
- Bei erweiterten Nodes steuern Sie die Rauschzugabe während der Diffusionsschritte manuell.
Schritt 3: Set Latent Noise Mask verwenden
- Zweck: Trennt Bereiche für Image-to-Image-Operationen und die Erzeugung von Zufallsrauschen.
- Konfiguration:
- Verbinden Sie das latente Bild aus VAE Encode mit dem Knoten Set Latent Noise Mask.
- Verbinden Sie die Maske vom Knoten Load Image mit demselben Knoten.
- Senden Sie die latente Ausgabe an den ersten KSampler-Node.
Schritt 4: Den Workflow mit Remove Latent Mask verfeinern
- Zweck: Stellt sicher, dass der Resampling-Prozess auf das gesamte Bild angewendet wird, nicht nur auf maskierte Bereiche.
- Konfiguration:
- Installieren Sie das ComfyUI Essentials Node Pack über den Manager.
- Fügen Sie den Remove Latent Mask Knoten zwischen den beiden KSampler-Nodes hinzu.
Schritt 5: Ergebnisse vergleichen
- Fügen Sie den Image Comparer Knoten hinzu (verfügbar im rgthree-Nodenpaket).
- Verbinden Sie das Originalbild und die decodierte Ausgabe von VAE Decode mit den Eingängen des Vergleichstools.
- Erweitern Sie den Vergleichs-Node, um Vorher-Nachher-Unterschiede zu analysieren.
Optimierte Version:
Wichtige Erkenntnisse zur Optimierung der Ergebnisse
- Modellauswahl: Juggernaut XL bietet weichere Texturen und besseres Anti-Aliasing im Vergleich zu anderen Modellen.
- Denoising-Werte: Experimentieren Sie mit Werten zwischen 0.6 and 0.8 für eine ausgewogene Kontexterhaltung.
- Prompt-Konfiguration: Verwenden Sie gezielte Prompts für inpaintete Bereiche und umfassende Prompts für Konsistenz beim Resampling.
Fazit
Inpainting mit generischen Diffusionsmodellen in ComfyUI bietet eine flexible und leistungsstarke Alternative zu spezialisierten Workflows. Durch die Nutzung von Nodes wie Set Latent Noise Mask und Remove Latent Mask, können Sie nahtlose Ergebnisse erzielen, die ursprüngliche Texturen bewahren und gleichzeitig neue Inhalte erzeugen. Ob Sie an kommerziellen oder nicht-kommerziellen Projekten arbeiten, dieser Ansatz ermöglicht eine bessere Kontrolle über Bildqualität und Verfeinerung.
Weitere fortgeschrittene Techniken und Tipps zur Fehlerbehebung finden Sie in unserem vorherigen Artikel über Optimierung der Inpainting-Auflösung in ComfyUI.