C18:FLUX 工作流:FLUX.1 Schnell 优化指南

FLUX 是由 Black Forest Labs 开发的前沿 AI 模型系列,以其多功能性和性能受到关注。在本文中,我们将重点介绍 FLUX.1 Schnell,它是 FLUX 模型的蒸馏版本,并介绍其工作流,包括设置、配置和优化。如果你显存有限或正在探索高级 AI 工作流,FLUX Schnell 可能会成为改变局面的关键。



什么是 FLUX?

FLUX 是为各种应用设计的 AI 模型系列,有三个主要版本:

  1. FLUX Pro:仅限云端、付费版本,工作流自定义功能有限。它支持基本的提示工作流。
  2. FLUX.1 Dev:可本地安装的版本,仅供非商业用途。
  3. FLUX.1 Schnell:针对速度和内存效率优化的蒸馏模型。该版本非常适合硬件受限的用户,或希望在不牺牲质量的情况下获得更快性能的用户。

在本指南中,我们将深入探讨 FLUX.1 Schnell,介绍它的独特功能以及如何有效地设置它。


为什么选择 FLUX.1 Schnell?

FLUX.1 Schnell 是该模型的蒸馏版本,类似于 Stable Diffusion 3.5 Large Turbo。蒸馏模型经过精简,下载更快、内存占用更少、加载时间更短。然而,FLUX 仍然是一个大模型,因此显存有限的用户应考虑下载量化版本,地址见 Comfy-Org Hugging Face 页面。

FLUX.1 Schnell 的主要功能:

  • 量化模型:FP8 Safetensors 版本(8 位浮点)针对更好的内存管理进行了优化。
  • 集成文本编码器:检查点文件同时包含 CLIP 和 T5 文本编码器,提高了提示词遵循度和自然语言处理能力。
  • 蒸馏工作流:FLUX Schnell 使用 CFG(无分类器引导)值为 1,且不支持负面提示词,从而简化了配置。

在 Comfy UI 中设置 FLUX.1 Schnell

按照以下步骤配置 FLUX.1 Schnell,以获得最佳性能:

1. 下载模型

  • 访问 Comfy-Org Hugging Face 页面 并下载 FLUX.1 Schnell FP8 Safetensors 文件。该版本经过量化,视频内存兼容性更好。下载模型文件后,将其放在 C:\Users\<username>\Documents\ComfyUI\models\checkpoints 下。

2. 准备提示词

  • FLUX 同时使用 CLIP 和 T5 文本编码器,这使其对自然语言提示词非常有效。请准备详细的提示词以获得更好的效果。
  • 注意:FLUX Schnell 不支持负面提示词。如果你尝试使用负面提示词,将导致错误或意外行为。

3. 处理负面输入

由于 FLUX Schnell 不支持负面提示词,你需要将负面输入的条件置零。具体方法如下:

  • 创建一个 Conditioning Zero Out 节点。
  • 将其连接在 CLIP 文本编码器节点与采样器的负面输入之间。
  • 这样可以确保空负面提示词不会引起混淆。

4. 调整采样器设置

  • 将 steps 设置为 4,以获得最佳速度和性能。
  • 将 CFG scale 设置为 1,这是蒸馏模型的要求。

以下是一个示例配置:

Sampler Node Settings:
- Steps: 4
- CFG Scale: 1


运行工作流

模型加载后,生成过程非常快,只需要四个步骤。虽然初始模型加载可能需要一些时间,但精简的工作流确保了之后的高效性能。

下面是一些示例输出:
提示词:4k photo, high quality, in a European forest

提示词:

a futuristic cityscape with neon lights and flying cars




常见问题和解决方案

1. 模型加载时间

FLUX.1 Schnell 是一个大模型,因此初始加载可能需要更长时间,尤其是在资源有限的系统上。使用量化的 FP8 版本可以显著缓解这一问题。

2. 负面提示词混淆

如果你习惯使用负面提示词,请确保按照上述方法将条件置零。这可以防止错误并保持工作流整洁。


结论

FLUX.1 Schnell 为 AI 工作流提供了一个强大而高效的解决方案,尤其适合硬件受限的用户。它集成的 CLIP 和 T5 文本编码器确保了出色的提示词遵循度,而蒸馏架构则带来了更快的处理速度。按照上述步骤操作,你可以根据自己的具体需求优化 FLUX.1 Schnell。

如需了解更多详情,请参阅 FLUX 官方文档 或 Comfy-Org Hugging Face 页面。

发表评论