语言: English · 简体中文 · 繁體中文 · Español · Português · Deutsch · Français · 日本語 · 한국어 · Русский · हिन्दी

C17：Stable Diffusion 3.5 工作流程：全面指南

作者：

Stable Diffusion 3.5 是 AI 图像生成技术的最新版本，性能更强、提示词理解能力更好，并兼容显存有限的系统。随着模型架构和文本编码器的进步，该版本使创作者能够快速高效地生成高质量图像。本指南深入介绍 Stable Diffusion 3.5 Large Turbo，包括其功能、设置过程以及使用 ComfyUI 的实际工作流程。

Stable Diffusion 3.5

什么是 Stable Diffusion 3.5？

Stable Diffusion 是一款为文本生成图像而设计的前沿生成式 AI 模型。3.5 版本相比前代引入了多项改进，包括：

  1. 提示词理解能力提升：
    T5 文本编码器的集成增强了模型理解复杂提示词以及元素之间关系的能力。这使得生成与用户描述高度一致的图像变得更加容易。
  2. 更高分辨率输出：
    Stable Diffusion 3.5 以原生分辨率 1024×1024生成图像，相比以前的版本，结果更干净、更清晰。
  3. 速度与性能优化：
    “Turbo”这一名称表明，该模型针对更快的执行进行了优化，即使在 GPU 显存有限的系统上也是如此。
  4. 模块化设计：
    与早期版本不同，文本编码器（clip_g、 clip_l、和 t5xxl_fp8）不包含在主检查点文件中。这种模块化方法让用户可以根据硬件限制自定义设置。

FP8 和 FP16 是什么意思？

在使用 Stable Diffusion 3.5 等 AI 模型时，FP8 和 FP16 等术语指的是 浮点精度，它决定了模型中数字的表示和处理方式。下面是简要说明：

  1. FP8（8 位浮点）：
    FP8 使用 8 位来表示数字。它是一种高效的格式，可以减少显存占用和计算需求。尽管 FP8 的精度低于 FP16，但它非常适合针对速度优化的模型和资源有限的硬件，例如 Stable Diffusion 3.5 Large Turbo。这使它对显存较低的系统特别有用。
  2. FP16（16 位浮点）：
    FP16 使用 16 位来表示数字，精度高于 FP8。虽然 FP16 需要更多的显存和计算能力，但它常用于数值精度至关重要的场景，例如训练大型 AI 模型或生成高度精细的输出。

在 Stable Diffusion 3.5 的语境中，文本编码器 T5 XXL FP8 利用 FP8 精度来平衡性能和硬件效率，适用于各种设备。

运行 Stable Diffusion 3.5 建议的 GPU 显存

Stable Diffusion 3.5 所需的 GPU 显存量因预期用途而异，例如图像分辨率、批处理大小以及是否应用了优化。下面是简要摘要：

GPU 显存需求摘要

  1. 最低要求（8 GB）：
    • 在 FP16 和 xFormers 等重度优化下可以运行。
    • 适合以批处理大小 1 生成较低分辨率的图像（例如 512×512）。
    • 限制：无法处理高分辨率（1024×1024）或复杂流程。
  2. 推荐配置（12–16 GB）：
    • 适合标准分辨率（512×512 或 768×768）和中等功能（例如修复、ControlNet）。
    • 支持 1–2 的批处理大小和更高分辨率（最高 1024×1024）。
    • 例如：NVIDIA RTX 3060（12 GB）、RTX 3080（10–12 GB）、RTX 4070（12 GB）。
  3. 最佳配置（16–24 GB）：
    • 用于生成高分辨率图像（1024×1024 或更高）、高级功能和更大的批处理大小（4–8 张图像）。
    • 例如：NVIDIA RTX 3090（24 GB）、RTX 4090（24 GB）。
  4. 专业级 (>24 GB)：
    • 适用于需要非常高分辨率（例如 2048×2048）、微调或训练模型的研究人员或生产环境。
    • 例如：NVIDIA A100（40 GB）、H100（80 GB）。

Stable Diffusion 3.5 文件下载地址

要设置 Stable Diffusion 3.5 Large Turbo，您需要从 Hugging Face 仓库下载所需文件。以下是直接链接：

1. Stable Diffusion 3.5 Large Checkpoint

2. 文本编码器

设置 Stable Diffusion 3.5 Large 检查点

第 1 步：整理文件

下载所需文件后，请按如下方式将它们整理到 ComfyUI 目录中：

  • 检查点文件：
    将 sd3.5-large_fp8_scaled.safetensors 放入 /models/checkpoints/。
  • 文本编码器文件：
    将 clip_g.safetensors、 clip_l.safetensors、和 t5xxl_fp8_scaled.safetensors 放入 /models/clip/。

第 2 步：重启 ComfyUI

重启 ComfyUI，以确保新添加的文件正确加载。

图像生成工作流程

第 1 步：加载模型和文本编码器

  1. 打开 ComfyUI 并加载从网站下载的工作流程 Comfy-Org/stable-diffusion-3.5-fp8 at main，并创建 TripleCLIPLoader 节点来加载文本编码器（默认情况下加载器已存在）：
    • clip_g.safetensors
    • clip_l.safetensors
    • t5xxl_fp8_e4m3fn_scaled.safetensors
  2. 将文本编码器连接到 正面 和 负面提示词 输入。
  3. 加载 Stable Diffusion 3.5 Large fp8 模型（sd3.5-large_fp8_scaled.safetensors）作为检查点。

第 2 步：调整模型设置

Stable Diffusion 3.5 Large Turbo 是一个为速度优化的蒸馏模型。请调整以下设置以获得最佳结果：

  1. 采样步数：将采样步数设置为 4 ，以减少生成时间，同时保持质量。
  2. CFG Scale：将 CFG（无分类器引导）缩放比例降低到 1 ，以实现均衡的图像生成。

第 3 步：生成图像

  1. 输入一个 详细提示词 ，它利用了 T5 编码器先进的语法理解能力。
    示例：A serene landscape with mountains in the background, a clear blue sky, and a flowing river, photorealistic, high detail.
  2. 点击 Queue 以执行提示词。
    • 注意：由于模型体积大、编码器多，首次生成图像可能需要几分钟。后续生成会更快。
提示词：A serene landscape with mountains in the background, a clear blue sky, and a flowing river, photorealistic, high detail

Stable Diffusion 3.5 的关键注意事项

  1. 提示词长度：
    • T5 编码器最多支持 256 个词元，从而可以使用详细的提示词。
    • 然而，CLIP 编码器将提示词限制在 75 个词元，这可能会限制复杂的描述。
  2. 硬件要求：
    • 虽然 Stable Diffusion 3.5 Large Turbo 针对显存有限的系统进行了优化，但初始设置仍可能需要大量内存，尤其是 T5 编码器。
  3. 输出质量：
    • 该模型以 1024×1024 分辨率生成图像，提供适合专业用途的高质量结果。

结论

Stable Diffusion 3.5 Large 是 AI 图像生成领域的一大进步，性能更快、提示词理解能力更好。按照本指南，用户可以使用 ComfyUI 有效地设置和使用该模型，生成令人惊叹的高分辨率图像。随着未来更新中预计的进一步改进，Stable Diffusion 3.5 对创作者和开发者来说都是一个强大的工具。

发表评论