C18:FLUX 工作流程:FLUX.1 Schnell 最佳化指南

FLUX 是由 Black Forest Labs 開發的前沿 AI 模型系列,以其多功能性和效能受到關注。在本文中,我們將重點介紹 FLUX.1 Schnell,它是 FLUX 模型的蒸餾版本,並介紹其工作流程,包括設定、配置和最佳化。如果你顯示記憶體有限或正在探索進階 AI 工作流程,FLUX Schnell 可能會成為改變局面的關鍵。



什麼是 FLUX?

FLUX 是為各種應用設計的 AI 模型系列,有三個主要版本:

  1. FLUX Pro:僅限雲端、付費版本,工作流程自訂功能有限。它支援基本的提示工作流程。
  2. FLUX.1 Dev:可本機安裝的版本,僅供非商業用途。
  3. FLUX.1 Schnell:針對速度和記憶體效率最佳化的蒸餾模型。該版本非常適合硬體受限的使用者,或希望在不犧牲品質的情況下獲得更快效能的使用者。

在本指南中,我們將深入探討 FLUX.1 Schnell,介紹它的獨特功能以及如何有效地設定它。


為什麼選擇 FLUX.1 Schnell?

FLUX.1 Schnell 是該模型的蒸餾版本,類似於 Stable Diffusion 3.5 Large Turbo。蒸餾模型經過精簡,下載更快、記憶體佔用更少、載入時間更短。然而,FLUX 仍然是一個大模型,因此顯示記憶體有限的使用者應考慮下載量化版本,位址見 Comfy-Org Hugging Face 頁面。

FLUX.1 Schnell 的主要功能:

  • 量化模型:FP8 Safetensors 版本(8 位元浮點)針對更好的記憶體管理進行了最佳化。
  • 整合文字編碼器:檢查點檔案同時包含 CLIP 和 T5 文字編碼器,提高了提示詞遵循度和自然語言處理能力。
  • 蒸餾工作流程:FLUX Schnell 使用 CFG(無分類器引導)值為 1,且不支援負面提示詞,從而簡化了設定。

在 Comfy UI 中設定 FLUX.1 Schnell

按照以下步驟設定 FLUX.1 Schnell,以獲得最佳效能:

1. 下載模型

  • 造訪 Comfy-Org Hugging Face 頁面 並下載 FLUX.1 Schnell FP8 Safetensors 檔案。該版本經過量化,視訊記憶體相容性更好。下載模型檔案後,將其放在 C:\Users\<username>\Documents\ComfyUI\models\checkpoints 下。

2. 準備提示詞

  • FLUX 同時使用 CLIP 和 T5 文字編碼器,這使其對自然語言提示詞非常有效。請準備詳細的提示詞以獲得更好的效果。
  • 注意:FLUX Schnell 不支援負面提示詞。如果你嘗試使用負面提示詞,將導致錯誤或意外行為。

3. 處理負面輸入

由於 FLUX Schnell 不支援負面提示詞,你需要將負面輸入的條件歸零。具體方法如下:

  • 建立一個 Conditioning Zero Out 節點。
  • 將其連接在 CLIP 文字編碼器節點與取樣器的負面輸入之間。
  • 這樣可以確保空負面提示詞不會引起混淆。

4. 調整取樣器設定

  • 將 steps 設定為 4,以獲得最佳速度和效能。
  • 將 CFG scale 設定為 1,這是蒸餾模型的要求。

以下是一個範例設定:

Sampler Node Settings:
- Steps: 4
- CFG Scale: 1


執行工作流程

模型載入後,產生過程非常快,只需要四個步驟。雖然初始模型載入可能需要一些時間,但精簡的工作流程確保了之後的高效能。

下面是一些範例輸出:
提示詞:4k photo, high quality, in a European forest

提示詞:

a futuristic cityscape with neon lights and flying cars




常見問題和解決方案

1. 模型載入時間

FLUX.1 Schnell 是一個大模型,因此初始載入可能需要更長時間,尤其是在資源有限的系統上。使用量化的 FP8 版本可以顯著緩解這一問題。

2. 負面提示詞混淆

如果你習慣使用負面提示詞,請確保按照上述方法將條件歸零。這可以防止錯誤並保持工作流程整潔。


結論

FLUX.1 Schnell 為 AI 工作流程提供了一個強大而高效的解決方案,尤其適合硬體受限的使用者。它整合的 CLIP 和 T5 文字編碼器確保了出色的提示詞遵循度,而蒸餾架構則帶來了更快的處理速度。按照上述步驟操作,你可以根據自己的具體需求最佳化 FLUX.1 Schnell。

如需了解更多詳情,請參閱 FLUX 官方文件 或 Comfy-Org Hugging Face 頁面。

發表留言