Inpainting ist eine wichtige Technik in der KI-gestützten Kunstgenerierung, insbesondere wenn präzise Kompositionen, mehrere Motive oder komplexe Designs erforderlich sind.Inpainting mit spezialisierten Modellen ermöglicht es Kreativen, die Einschränkungen von Text-Prompts zu überwinden, die oft zu unbeabsichtigten oder ignorierten Ausgaben führen können, wenn sie 30 Tokens überschreiten. Dieser Artikel untersucht den Inpainting-Prozess mit Schwerpunkt auf Stable-Diffusion-Modellen und liefert umsetzbare Erkenntnisse zur Verbesserung Ihres Workflows.
Inhaltsverzeichnis
Was ist Inpainting und warum ist es wichtig?
Beim Inpainting werden bestimmte Bereiche eines vorhandenen Bildes verändert, während der umgebende Inhalt erhalten bleibt. Diese Technik ist von unschätzbarem Wert, wenn ein Prompt allein die gewünschten Ergebnisse nicht erzielen kann, da sie es ermöglicht, den Generierungsprozess in überschaubare Schritte zu unterteilen.
Sie können beispielsweise zuerst ein Hintergrundbild erstellen und dann mit Inpainting ein Vordergrundmotiv wie eine Figur oder ein Objekt einfügen. Dieser schichtweise Ansatz gewährleistet eine bessere Kontrolle über die Komposition und vermeidet die Fallstricke einer Überlastung des Text-Encoders.
Die Rolle spezialisierter Inpainting-Modelle
Spezialisierte Inpainting-Modelle sind eigens für diesen Zweck trainiert und liefern bessere Ergebnisse als allgemeine Modelle. Wenn Sie beispielsweise das Modell Realistic Vision 5.1 verwendet haben, um Ihren Hintergrund zu erzeugen, erzielen Sie mit dem entsprechenden Realistic Vision 5.1-Inpainting-Modell die besten Ergebnisse. Diese Modelle sind in der Regel auf Plattformen wie Civitai verfügbar.
Wichtige Einstellungen für Inpainting-Modelle:
- Modellinstallation: Stellen Sie sicher, dass das Inpainting-Modell im richtigen Ordner abgelegt wird. Für ComfyUI bedeutet dies, es im Ordner
models/Checkpointabzulegen und nicht im Ordnermodels/Inpainting. - Auflösungs-Kompatibilität: Verwenden Sie Bilder mit Auflösungen, die den nativen Abmessungen des Modells entsprechen (z. B. 512×512 für Realistic Vision 5.1). Nicht übereinstimmende Auflösungen können zu verzerrten Ergebnissen führen.
Schritt-für-Schritt-Inpainting-Workflow in ComfyUI
1. Inpainting-Modell laden
- Öffnen Sie ComfyUI und laden Sie das Inpainting-Modell in den Knoten Load Checkpoint.
- Vergewissern Sie sich, dass das Modell die VAE (Variational Autoencoder) für eine optimale Leistung enthält.
2. Basisbild vorbereiten
- Verwenden Sie einen Load Image-Knoten, um Ihr vorbereitetes Hintergrundbild hochzuladen.
- Stellen Sie sicher, dass die Bildauflösung den optimalen Einstellungen des Modells entspricht.
3. VAE-Codierung für Inpainting einrichten
- Fügen Sie einen VAE Encode for Inpainting-Knoten zu Ihrem Workflow hinzu. Dieser Knoten verbindet das latente Bild mit dem KSampler und akzeptiert drei Eingaben:
- VAE: Verbinden Sie diese vom Checkpoint-Knoten.
- Pixels: Verbinden Sie diese vom Load-Image-Knoten.
- Mask: Verbinden Sie diese vom Load-Image-Knoten, um den Bereich anzugeben, den Sie ändern möchten.
4. Maske erstellen und bearbeiten
- Klicken Sie mit der rechten Maustaste auf den Load-Image-Knoten und wählen Sie Open in Mask Editor.
- Verwenden Sie den kreisförmigen Pinsel, um den Bereich zu zeichnen, in dem Inpainting stattfinden soll. Passen Sie die Pinselgröße mit den Tasten
[ ]an. - Speichern Sie die Maske nach Fertigstellung im Knoten.
Profi-Tipp: Die Form der Maske ist nur ein allgemeiner Hinweis darauf, wo das neue Motiv platziert wird. Sie definiert nicht die genauen Konturen des Motivs.
5. Prompt definieren
- Schreiben Sie einen klaren und prägnanten Prompt, zum Beispiel:
„Ein Boot auf dem Ozean.“ - Verwenden Sie einen Negativ-Prompt, um unerwünschte Elemente auszuschließen, z. B.„hässlich, deformiert, grotesk.“
6. Generieren und verfeinern
- Stellen Sie den Workflow in die Warteschlange und prüfen Sie das Ergebnis. Wenn das Ergebnis unbefriedigend ist:
- Passen Sie die Maskengröße oder -form an.
- Randomisieren Sie den Seed erneut.
- Experimentieren Sie mit verschiedenen Prompts oder Parametern.
Hinweis: Kleinere Maskenbereiche können zu verzerrten Ergebnissen führen, da sie nur einen begrenzten Teil des latenten Raums des Modells nutzen. Für bessere Ergebnisse vergrößern Sie die Maske oder erhöhen Sie die Auflösung.
Der gesamte Workflow
Originalbild:
Inpainting:
Häufige Probleme beheben
- Verschwommene oder verzerrte Ergebnisse:
- Stellen Sie sicher, dass die Bildauflösung den Spezifikationen des Modells entspricht.
- Verwenden Sie einen größeren Maskenbereich, um Verzerrungen zu reduzieren.
- Unrealistische oder unnatürliche Ergebnisse:
- Randomisieren Sie den Seed erneut und verfeinern Sie die Maske.
- Verwenden Sie ein spezialisiertes Inpainting-Modell, das mit Ihrem Basismodell kompatibel ist.
- Modellbeschränkungen:
- Wenn das Inpainting-Modell Schwierigkeiten mit kleinen Details hat, erwägen Sie, die Aufgabe in kleinere Schritte zu unterteilen oder Bilder mit höherer Auflösung zu verwenden.
Weitere Ressourcen
Fazit
Inpainting mit spezialisierten Modellen wie Realistic Vision 5.1 bietet eine unvergleichliche Kontrolle über KI-generierte Kompositionen. Wenn Sie die oben beschriebenen Schritte befolgen, können Sie präzise und visuell ansprechende Ergebnisse erzielen. Denken Sie daran, mit Masken, Prompts und Seeds zu experimentieren, um Ihren Workflow weiter zu verfeinern.