簡介
圖生圖轉換是一種強大的技術,用於 AI 驅動的生成模型中,透過將影像轉換到潛在空間並套用擴散過程來修改或增強影像。與從雜訊開始不同,這種方法允許使用者處理現有影像,實現尊重原始內容同時融入風格變化的轉換。本文介紹如何在ComfyUI中設定圖生圖工作流程,並探討去噪值等關鍵參數,以獲得最佳結果。

目錄
什麼是圖生圖轉換?
圖生圖轉換利用變分自編碼器 (VAE)將影像編碼到潛在空間,在那裡可以使用擴散技術進行修改。然後,潛在影像會被解碼回像素空間,產生反映所套用變更的新影像。這種方法對於風格遷移、影像修復與創意修改等任務特別有用。
在 ComfyUI 中設定工作流程

若要在 ComfyUI 中建立圖生圖工作流程,請按照下列步驟操作:
步驟 1:載入影像
- 新增一個Load Image Node:
- 在 ComfyUI 介面中連按兩下並輸入
LOAD。 - 選取Load Image Node。
- 按一下以上傳影像檔案。
- 瀏覽到所需的影像檔案,然後按一下Open。影像將被複製到 ComfyUI 的 input 資料夾。
- 在 ComfyUI 介面中連按兩下並輸入
- 驗證影像位置:
- 檢查 ComfyUI 安裝目錄下的
input資料夾。 - 定期清除舊檔案,以維持整潔。
- 檢查 ComfyUI 安裝目錄下的
步驟 2:縮放影像
大多數生成模型要求影像符合特定的解析度參數。要調整影像大小:
- 新增一個Upscale Image Node:
- 連按兩下並輸入
UPSCALE。 - 選取Upscale Image Node。
- 將此節點連接在Load Image Node與VAE Encode Node之間。
- 連按兩下並輸入
- 設定解析度參數:
- 新增一個Resolution Selector Node。
- 以滑鼠右鍵按一下寬度與高度小工具,將它們轉換為輸入。
- 指定所需的寬度與高度值。
步驟 3:將影像編碼到潛在空間
- 新增一個VAE Encode Node:
- 連按兩下並輸入
VAE。 - 選取VAE Encode Node。
- 將此節點的潛在輸出連接到K-Sampler Node的潛在影像輸入。
- 連按兩下並輸入
- 確保模型檢查點提供所需的 VAE。
步驟 4:設定取樣器參數
K-Sampler Node可讓你控制擴散過程的關鍵參數:
- 步數:增加步數以獲得更好的品質(例如 30 步)。
- CFG Scale:設定無分類器引導 scale(例如 8.0),以平衡對提示詞與潛在影像的遵循。
- 取樣器類型:使用
Euler以獲得一致的結果。 - 去噪強度:調整去噪值,以控制擴散過程中加入與去除的雜訊量。
了解去噪值
去噪強度參數決定擴散過程中原始影像被改變的程度。以下是根據不同去噪值的結果細分:
- 1.00:以生成內容完全取代原始影像。這非常適合根據風格提示詞建立全新的影像。
- 0.5:在原始影像與風格修改之間取得平衡。這有助於在套用藝術變化的同時保留關鍵特徵。
- 0.2:僅對原始影像做最小程度的改變,確保對輸入影像的高度保真,同時套用細微的風格增強。
- 0.0:基本上重現原始影像,僅因編碼與解碼過程而略有差異。
結果範例
使用Pinnacles的影像作為輸入,觀察到以下結果:
原始影像:

- 去噪 1.00:產生了一張全新的影像。

- 去噪 0.5:產生了Pinnacles的繪畫風格版本,但與原始照片略有偏差。

- 去噪 0.2:在尊重風格提示詞的同時,與輸入影像高度吻合。

- 去噪 0.0:重現了原始照片,但由於潛在空間處理而略顯擴散。
獲得最佳結果的技巧
- 選擇合適的去噪值:
- 對於重大轉換:使用接近 1.00 的值。
- 對於細微變化:使用 0.2 至 0.5 之間的值。
- 要保留原始影像:使用接近 0.0 的值。
- 最佳化提示詞:
- 清楚地指定風格說明。
- 如果希望原始影像占主導地位,請避免包含與內容相關的說明。
- 留意訓練資料偏差:
- 請注意,訓練資料集可能會影響輸出。例如,訓練資料中常見的視角可能會覆蓋輸入影像的獨特特徵。
比較原始影像與最終影像
在對Pinnacles的影像使用去噪值0.2進行處理後,結果與原始照片高度吻合,同時套用了藝術增強。這證明了圖生圖轉換在融合風格提示詞與輸入影像方面的有效性。
結論
ComfyUI 中的圖生圖轉換提供了一種靈活而強大的方式,可利用潛在空間擴散來修改影像。透過仔細設定節點與參數,使用者可以實現從細微增強到完全轉換的各種結果。調整去噪值是平衡原始影像與風格修改的關鍵。
2 thoughts on “C20: Mastering Image-to-Image Transformation in ComfyUI”