簡介
在我們的上一篇文章中，我們探討了 ControlNet如何應用於 ComfyUI 工作流程，利用線稿等外部輸入來引導影像構圖。雖然這種方法讓我們實現了精確的物體放置，但由於預設的 ControlNet 參數，結果並不總是令人滿意。例如，產生的狗遵循了簡單塗鴉的輪廓，但缺乏解剖學上的準確性和自然的比例。
本文在此基礎上，進一步深入探討 ControlNet 參數調校，它能讓你在理想的構圖與擴散模型固有特性之間找到完美的平衡。透過調整 strength、start percent 和 end percent 等參數，你可以優化結果，同時實現真實的細節和準確的構圖。
為什麼微調很重要
預設的 ControlNet 設定會在整個擴散過程中以全部強度套用外部輸入（例如線稿）。雖然這能確保產生的影像緊密遵循輸入，但如果輸入不準確或過於簡單，可能會導致不自然的結果。例如：
- 影響過強：產生的影像可能過於嚴格地遵循輸入草圖，從而犧牲真實感。
- 構圖遺失：將 ControlNet 的影響降得太多，可能會導致模型完全忽略輸入，從而改變預期的版面配置。
微調讓你能夠控制 ControlNet 在擴散過程的不同階段有多大的影響，從而確保構圖與真實感之間的平衡。
關鍵 ControlNet 參數
1. 強度
這個strength 參數決定了外部輸入對產生影像的影響程度。
- 高強度：影像緊密遵循輸入，但可能會犧牲真實感。
- 低強度：影像融入了更多擴散模型的固有特性，但可能會偏離預期的構圖。
2. 開始百分比
這個start percent 定義了 ControlNet 開始影響擴散過程的時間點。
- 對於大多數工作流程，此值設定為 0，以確保 ControlNet 的影響從第一步就開始。
3. 結束百分比
這個end percent 控制 ControlNet 停止影響擴散過程的時間點。
- 降低此參數可讓模型在後續步驟中接管，從而增強真實感，同時仍尊重最初的構圖。
調校 ControlNet 參數的逐步指南
步驟 1：調整強度
首先，嘗試調整 strength 參數：
- 將強度設定為 1.0（最大影響），然後將工作流程排入佇列。
- 觀察產生的影像與輸入繪圖的貼合程度。
- 在這種情況下，由於模型過於嚴格地遵循不準確的草圖，狗的比例顯得不自然。
- 將強度降低到 0.5（一半影響），然後再次將工作流程排入佇列。
- 在歷史記錄標籤中比較結果。
- 在此設定下，解剖結構有所改善，但構圖可能仍會受到輕微影響。
- 將強度進一步降低到 0.2，並觀察變化。
- 產生的影像現在融入了更多擴散模型的固有特性，從而獲得了更好的解剖結構。
- 不過，構圖可能會與原始輸入略有偏移。
- 嘗試更低的強度（例如，0.1），找到 ControlNet 影響可以忽略不計的臨界值。
步驟 2：調整結束百分比
為了優化構圖與真實感之間的平衡，請調整 end percent 參數：
- 將 start percent 設為 0（預設值）。
- 首先，將 end percent 設定為 1.0，確保 ControlNet 的影響貫穿所有推論步驟。
- 這樣產生的影像會嚴格遵循輸入繪圖。
- 將 end percent 設為 0.5，讓擴散模型在過程進行到一半時接管。
- 這在輸入繪圖與模型的固有特性之間創造了平衡。
- 試試將 end percent 設定為 0.2，減少 ControlNet 在擴散過程後期階段的影響。
- 在此設定下，最初的構圖得到了尊重，同時模型會優化細節，從而獲得更真實的結果。
步驟 3：結合強度和結束百分比
為了獲得最佳效果，請同時調整 strength 和 end percent：
- 將 strength 設為 0.35 和 end percent 設為 0.35。
- 這種組合確保輸入繪圖影響構圖，同時讓模型優化細節。
- 將工作流程排入佇列，並將結果與先前的迭代進行比較。
- 在這些設定下，狗的解剖結構變得真實，同時保留了預期的構圖。
結果與觀察
微調這些參數後，您可以實現：
- 真實的解剖結構：擴散模型會優化比例和細節。
- 準確的構圖：輸入繪圖的初始佈局得到了尊重。
- 均衡的輸出：產生的影像同時融入了外部輸入和模型的固有特性。
例如：
- 強度：0.35，結束百分比：0.35在本案例研究中取得了構圖與真實感之間的最佳平衡。
- 強度：1.0，結束百分比：0.2導致輸入繪圖的影響過大，造成了不自然的特徵。
實際應用
微調 ControlNet 參數適用於：
- 藝術專案：在保持真實細節的同時實現創意構圖。
- 設計任務：產生遵循特定佈局或空間約束的影像。
- 原型製作：嘗試不同程度的影響，以優化用於生產的輸出。
結論
透過調整 ControlNet 參數，例如 strength、start percent 和 end percent，您可以在所需的構圖與擴散模型的固有特性之間實現完美平衡。無論您從事的是藝術專案、技術設計還是創意原型製作，這些技術都能讓您優化工作流程並產生高品質的結果。
在下一篇文章中，我們將探討組合多個 ControlNet 模型的高階技術，以實現對影像生成更強的控制。