परिचय
AI छवि निर्माण में आम चुनौतियों में से एक सटीक कला निर्देशन प्राप्त करना है। हालाँकि प्रॉम्प्ट किसी छवि की सामान्य शैली और सामग्री का मार्गदर्शन कर सकते हैं, लेकिन वे अक्सर विशिष्ट संरचना विवरण को नियंत्रित करने में कम पड़ जाते हैं, जैसे स्क्रीन दिशा या वस्तु स्थान।
इस लेख में, हम पता लगाएँगे कि ControlNet का ComfyUI वर्कफ़्लो में इन सीमाओं को दूर करने के लिए उपयोग किया जा सकता है। ControlNet मॉडल का लाभ उठाकर, आप लाइन ड्राइंग या एज मैप जैसे बाहरी इनपुट का उपयोग करके अपनी उत्पन्न छवियों की संरचना का मार्गदर्शन कर सकते हैं। यह दृष्टिकोण आपको अपनी छवि निर्माण प्रक्रिया में अधिक नियंत्रण और सटीकता प्राप्त करने में सक्षम बनाता है।
विषय-सूची
समस्या: संरचना में प्रॉम्प्ट की सीमाएँ
एक उदाहरण पर विचार करें: स्क्रीन के दाईं ओर देख रहे कुत्ते की छवि उत्पन्न करना। “facing screen right,” निर्दिष्ट करने वाले सावधानीपूर्वक तैयार किए गए प्रॉम्प्ट के बावजूद, Juggernaut XL डिफ्यूज़न मॉडल द्वारा उत्पन्न छवि इस आवश्यकता को पूरा नहीं करती। स्क्रीन के दाईं ओर देखने के बजाय, कुत्ता स्क्रीन के बाईं ओर देखता है।
यह परिणाम एक प्रमुख सीमा को उजागर करता है: डिफ्यूज़न मॉडल और टेक्स्ट एन्कोडर अक्सर स्थानिक या दिशात्मक प्रॉम्प्ट को समझने में संघर्ष करते हैं। एकमात्र विकल्प वांछित संरचना मिलने तक यादृच्छिक रूप से विभिन्न सीड आज़माना होगा — एक समय लेने वाली और अक्षम प्रक्रिया।
ControlNet का परिचय
ControlNet वर्कफ़्लो में बाहरी छवि-आधारित conditioning शुरू करके एक समाधान प्रदान करता है। यह संदर्भ छवि का विश्लेषण करके और उसकी संरचना या रचना को उत्पन्न आउटपुट पर लागू करके काम करता है।
ControlNet मॉडल विशिष्ट डिफ्यूज़न मॉडल के साथ काम करने के लिए डिज़ाइन किए गए हैं। इस उदाहरण के लिए, हम controlnet-scribble-sdxl-1.0 मॉडल का उपयोग करेंगे, जो SDXL परिष्कृत डिफ्यूज़न मॉडल के साथ संगत है। Scribble ControlNet इनपुट के रूप में सरल लाइन ड्राइंग स्वीकार करता है, जिससे यह मोटे तौर पर संरचना मार्गदर्शन के लिए आदर्श है।
ComfyUI में ControlNet सेट अप करना
चरण 1: ControlNet मॉडल डाउनलोड और इंस्टॉल करें
- controlnet-scribble-sdxl-1.0 मॉडल को यहाँ से डाउनलोड करें: xinsir/controlnet-scribble-sdxl-1.0 at main। मूल नाम diffusion_pytorch_model.safetensors है।
- मॉडल फ़ाइल को निम्नलिखित निर्देशिका में रखें:
/models/controlnetऔर इसका नाम बदलकर controlnet-scribble-sdxl-1.0.safetensors कर दें, आपको मॉडल फ़ाइल लोड करने के लिए ComfyUI को पुनरारंभ करना होगा।
चरण 2: वर्कफ़्लो बनाएँ
ComfyUI में, आपको एक वर्कफ़्लो बनाना होगा जो ControlNet मॉडल को आपकी छवि निर्माण प्रक्रिया में एकीकृत करता है।
मूल मॉडल:
इन चरणों का पालन करें:
1. ControlNet मॉडल लोड करें
- Load ControlNet Model नोड जोड़ें।
- सूची से controlnet-scribble-sdxl-1.0 मॉडल चुनें।
2. Apply ControlNet
- Apply ControlNet नोड जोड़ें।
- KSampler नोड से conditioning को डिस्कनेक्ट करें और इसके बजाय इसे Apply ControlNet नोड के माध्यम से रूट करें।
3. इनपुट छवि लोड करें
- Load Image नोड जोड़ें।
- अपनी लाइन ड्राइंग अपलोड करें (जैसे, वांछित संरचना का एक सरल स्केच)।
- छवि को Apply ControlNet नोड से जोड़ें।
4. कनेक्शन पूरे करें
- ControlNet मॉडल को Apply ControlNet नोड से जोड़ें।
- वैकल्पिक रूप से, VAE को पूर्णता के लिए Apply ControlNet नोड से जोड़ें (हालाँकि इससे इस मामले में परिणाम प्रभावित नहीं होंगे)।
चरण 3: छवि उत्पन्न करें
एक बार जब आपका वर्कफ़्लो सेट अप हो जाए, तो छवि उत्पन्न करने के लिए वर्कफ़्लो को कतार में लगाएँ। ControlNet अपलोड की गई लाइन ड्राइंग के आधार पर संरचना का मार्गदर्शन करेगा।
मूल स्केच:
मैं जिस प्रॉम्प्ट का उपयोग कर रहा हूँ: nature photography, dog, standing on the grass, daylight, (bokeh:1.5)
आउटपुट:
परिणाम और परिशोधन
प्रारंभिक आउटपुट
ControlNet Scribble मॉडल का उपयोग करने पर, उत्पन्न कुत्ता अब सही संरचना का पालन करता है। हालाँकि, ControlNet का प्रभाव डिफ़ॉल्ट रूप से अधिकतम पर सेट होता है, जिससे इनपुट ड्राइंग गलत या अत्यधिक सरल होने पर अप्राकृतिक परिणाम हो सकते हैं।
उदाहरण के लिए, यदि अपलोड किए गए स्केच में शारीरिक सटीकता की कमी है, तो उत्पन्न छवि कृत्रिम या विकृत दिख सकती है।
ControlNet प्रभाव को संतुलित करना
इससे निपटने के लिए, आप ControlNet प्रभाव पैरामीटर को समायोजित कर सकते हैं ताकि इनपुट ड्राइंग और जनरेटिव मॉडल के प्राकृतिक परिशोधन के बीच संतुलन बनाया जा सके। इससे मॉडल वांछित संरचना का पालन करते हुए गुम विवरण भर सकता है।
ControlNet मॉडल के प्रकार
ControlNet कई रूपांतर प्रदान करता है, प्रत्येक विशिष्ट उपयोग मामलों के अनुरूप है:
- Scribble ControlNet: मोटे तौर पर संरचना मार्गदर्शन के लिए सरल लाइन ड्राइंग स्वीकार करता है।
- Canny ControlNet: संरचना का मार्गदर्शन करने के लिए इनपुट छवि से एज विवरण निकालता है।
- Depth ControlNet: यथार्थवादी स्थानिक संबंधों वाली छवियाँ बनाने के लिए गहराई की जानकारी का विश्लेषण करता है।
आपकी आवश्यकताओं के आधार पर, आप अपने वर्कफ़्लो का मार्गदर्शन करने के लिए उपयुक्त ControlNet मॉडल चुन सकते हैं।
व्यावहारिक अनुप्रयोग
ControlNet विशेष रूप से इसके लिए उपयोगी है:
- सटीक वस्तु स्थान: यह सुनिश्चित करना कि वस्तुएँ विशिष्ट स्थानों या अभिविन्यासों में दिखाई दें।
- कस्टम संरचनाएँ: अद्वितीय लेआउट प्राप्त करना जिन्हें केवल टेक्स्ट प्रॉम्प्ट से वर्णित करना कठिन है।
- कलात्मक निर्देशन: रचनात्मक आउटपुट के लिए बाहरी स्केच या संदर्भों को जनरेटिव AI के साथ जोड़ना।
निष्कर्ष
ComfyUI वर्कफ़्लो में ControlNet का उपयोग करने से छवि संरचना पर अधिक नियंत्रण मिलता है, जिससे प्रॉम्प्ट-आधारित निर्माण की सीमाओं को दूर किया जा सकता है। लाइन ड्राइंग जैसे बाहरी इनपुट को एकीकृत करके, आप वस्तुओं के स्थान और अभिविन्यास का सटीक मार्गदर्शन कर सकते हैं।
अगले चरण में, प्राकृतिक और दृष्टिगत रूप से आकर्षक परिणाम प्राप्त करने के लिए ControlNet प्रभाव को संतुलित करने का प्रयोग करें। चाहे आप कलात्मक परियोजनाओं पर काम कर रहे हों या विशिष्ट डिज़ाइन कार्यों पर, ControlNet AI छवि निर्माण में रचनात्मक निर्देशन के लिए नई संभावनाएँ खोलता है।