C20: Image-to-Image-Transformation in ComfyUI meistern

Einleitung

Image-to-Image-Transformation ist eine leistungsstarke Technik, die in KI-gestützten generativen Modellen verwendet wird, um Bilder zu verändern oder zu verbessern, indem sie in einen latenten Raum umgewandelt und Diffusionsprozesse angewendet werden. Im Gegensatz zum Starten von Rauschen ermöglicht dieser Ansatz die Arbeit mit vorhandenen Bildern und Transformationen, die den ursprünglichen Inhalt respektieren und gleichzeitig stilistische Änderungen einbringen. Dieser Artikel erklärt, wie man einen Image-to-Image-Workflow in ComfyUI einrichtet, und erkundet wichtige Parameter wie Denoise-Werte, um optimale Ergebnisse zu erzielen.

---

---

Was ist Image-to-Image-Transformation?

Die Image-to-Image-Transformation nutzt einen Variational Autoencoder (VAE), um ein Bild in den latenten Raum zu codieren, wo Änderungen mithilfe von Diffusionstechniken angewendet werden können. Das latente Bild wird dann zurück in den Pixelraum decodiert und erzeugt ein neues Bild, das die angewendeten Änderungen widerspiegelt. Diese Methode ist besonders nützlich für Aufgaben wie Stilübertragung, Bildrestaurierung und kreative Veränderungen.

---

Workflow in ComfyUI einrichten

Um einen Image-to-Image-Workflow in ComfyUI zu erstellen, gehen Sie wie folgt vor:

Schritt 1: Bild laden

1. Fügen Sie einen Load Image Node hinzu:
   • Doppelklicken Sie in der ComfyUI-Oberfläche und geben Sie LOAD ein.
   • Wählen Sie den Load Image Node aus.
   • Klicken Sie, um Ihre Bilddatei hochzuladen.
   • Navigieren Sie zur gewünschten Bilddatei und klicken Sie auf Open. Das Bild wird in den Eingabeordner von ComfyUI kopiert.
2. Bildspeicherort prüfen:
   • Prüfen Sie das ComfyUI-Installationsverzeichnis im Ordner input.
   • Räumen Sie regelmäßig alte Dateien weg, um Ordnung zu halten.

---

Schritt 2: Bild skalieren

Die meisten generativen Modelle erfordern, dass Bilder bestimmte Auflösungsparameter einhalten. Um die Größe des Bildes zu ändern:

1. Fügen Sie einen Upscale Image Node hinzu:
   • Doppelklicken Sie und geben Sie UPSCALE ein.
   • Wählen Sie den Upscale Image Node aus.
   • Verbinden Sie diesen Knoten zwischen dem Load Image Node und dem VAE Encode Node.
2. Auflösungsparameter festlegen:
   • Fügen Sie einen Resolution Selector Node hinzu.
   • Wandeln Sie die Widgets für Breite und Höhe per Rechtsklick in Eingaben um.
   • Geben Sie die gewünschten Werte für Breite und Höhe an.

---

Schritt 3: Bild in den latenten Raum codieren

1. Fügen Sie einen VAE Encode Node hinzu:
   • Doppelklicken Sie und geben Sie VAE ein.
   • Wählen Sie den VAE Encode Node aus.
   • Verbinden Sie den latenten Ausgang dieses Knotens mit dem latenten Bildeingang des K-Sampler Node.
2. Stellen Sie sicher, dass der Modell-Checkpoint die erforderliche VAE bereitstellt.

---

Schritt 4: Sampler-Parameter konfigurieren

Der K-Sampler Node ermöglicht es Ihnen, wichtige Parameter des Diffusionsprozesses zu steuern:

• Schritte: Erhöhen Sie die Anzahl der Schritte für eine bessere Qualität (z. B. 30 Schritte).
• CFG Scale: Legen Sie die Classifier-Free-Guidance-Scale fest (z. B. 8.0), um die Treue zum Prompt und zum latenten Bild auszubalancieren.
• Sampler-Typ: Verwenden Sie Euler für konsistente Ergebnisse.
• Denoise-Stärke: Passen Sie den Denoise-Wert an, um zu steuern, wie viel Rauschen während des Diffusionsprozesses hinzugefügt und entfernt wird.

---

Denoise-Werte verstehen

Der Parameter Denoise-Stärke bestimmt, wie stark das Originalbild während des Diffusionsprozesses verändert wird. Hier eine Aufschlüsselung der Ergebnisse für verschiedene Denoise-Werte:

• 1.00: Ersetzt das Originalbild vollständig durch generierte Inhalte. Dies ist ideal, um auf Grundlage des Stil-Prompts völlig neue Bilder zu erstellen.
• 0.5: Balanciert das Originalbild mit stilistischen Änderungen aus. Dies ist nützlich, um wichtige Merkmale zu erhalten und gleichzeitig künstlerische Änderungen anzuwenden.
• 0.2: Verändert das Originalbild nur minimal und gewährleistet so eine hohe Wiedergabetreue gegenüber dem Eingabebild, während subtile stilistische Verbesserungen angewendet werden.
• 0.0: Reproduziert im Wesentlichen das Originalbild, mit geringfügigen Abweichungen aufgrund des Codierungs- und Decodierungsprozesses.

Beispielergebnisse

Bei Verwendung eines Bildes von Pinnacles als Eingabe wurden die folgenden Ergebnisse beobachtet:

Originalbild:

• Denoise 1.00: Erzeugte ein völlig neues Bild.

• Denoise 0.5: Erzeugte eine malerische Version von Pinnacles , jedoch mit leichten Abweichungen vom Originalfoto.

• Denoise 0.2: Erzielte eine enge Übereinstimmung mit dem Eingabebild und berücksichtigte dabei den Stil-Prompt.

• Denoise 0.0: Reproduzierte das Originalfoto, wenn auch aufgrund der Verarbeitung im latenten Raum leicht verschwommen.

---

Tipps für optimale Ergebnisse

1. Den richtigen Denoise-Wert wählen:
   • Für größere Transformationen: Verwenden Sie Werte nahe 1.00.
   • Für subtile Änderungen: Verwenden Sie Werte zwischen 0.2 und 0.5.
   • Um das Originalbild zu erhalten: Verwenden Sie Werte nahe 0.0.
2. Prompt verfeinern:
   • Geben Sie Stilanweisungen klar an.
   • Vermeiden Sie inhaltsbezogene Anweisungen, wenn das Originalbild dominieren soll.
3. Trainingsdaten-Bias beobachten:
   • Beachten Sie, dass Trainingsdatensätze das Ergebnis beeinflussen können. Beispielsweise können gängige Perspektiven in den Trainingsdaten einzigartige Merkmale Ihres Eingabebildes überlagern.

---

Vergleich von Original- und Endergebnisbild

Nach der Verarbeitung des Bildes von Pinnacles mit einem Denoise-Wert von 0.2 stimmte das Ergebnis eng mit dem Originalfoto überein und wendete künstlerische Verbesserungen an. Dies zeigt die Wirksamkeit der Image-to-Image-Transformation bei der Verbindung von Stil-Prompts mit Eingabebildern.

---

Fazit

Die Image-to-Image-Transformation in ComfyUI bietet eine flexible und leistungsstarke Möglichkeit, Bilder mithilfe von Diffusion im latenten Raum zu verändern. Durch sorgfältiges Konfigurieren von Knoten und Parametern können Benutzer Ergebnisse erzielen, die von subtilen Verbesserungen bis hin zu vollständigen Transformationen reichen. Die Anpassung des Denoise-Werts ist entscheidend, um das Originalbild mit stilistischen Änderungen auszubalancieren.