Stable Diffusion 3.5 — это последняя версия технологии генерации изображений с помощью ИИ, предлагающая повышенную производительность, лучшее понимание промптов и совместимость с системами, имеющими ограниченный объём видеопамяти. Благодаря усовершенствованиям архитектуры модели и текстовых кодеров эта версия позволяет авторам быстро и эффективно создавать высококачественные изображения. В этом руководстве представлен подробный обзор Stable Diffusion 3.5 Large Turbo, включая его функции, процесс настройки и практический рабочий процесс с использованием ComfyUI.
Оглавление
Что такое Stable Diffusion 3.5?
Stable Diffusion — это передовая генеративная модель ИИ, предназначенная для синтеза изображений из текста. Версия 3.5 вносит несколько улучшений по сравнению с предшественниками, в том числе:
- Улучшенное понимание промптов:
Интеграция текстовых кодеров T5 повышает способность модели интерпретировать сложные промпты и отношения между элементами. Это облегчает генерацию изображений, которые точно соответствуют описаниям пользователей. - Выходные изображения с более высоким разрешением:
Stable Diffusion 3.5 генерирует изображения с собственным разрешением 1024×1024, обеспечивая более чистые и чёткие результаты по сравнению с предыдущими версиями. - Оптимизация скорости и производительности:
Обозначение «Turbo» указывает на то, что эта модель оптимизирована для более быстрого выполнения даже на системах с ограниченной видеопамятью. - Модульная конструкция:
В отличие от более ранних версий, текстовые кодеры (clip_g,clip_l, иt5xxl_fp8) не включены в основной файл контрольной точки. Этот модульный подход позволяет пользователям настраивать свою установку с учётом ограничений оборудования.
Что означают FP8 и FP16?
При работе с моделями ИИ, такими как Stable Diffusion 3.5, термины FP8 и FP16 относятся к точности с плавающей точкой, которая определяет, как числа представляются и обрабатываются в модели. Вот краткое объяснение:
- FP8 (8-битная плавающая точка):
FP8 использует 8 бит для представления чисел. Это высокоэффективный формат, который снижает потребление памяти и вычислительные требования. Хотя FP8 обеспечивает более низкую точность по сравнению с FP16, он идеально подходит для моделей, оптимизированных для скорости, и оборудования с ограниченными ресурсами, такого как Stable Diffusion 3.5 Large Turbo. Это делает его особенно полезным для систем с меньшим объёмом видеопамяти. - FP16 (16-битная плавающая точка):
FP16 использует 16 бит для представления чисел, обеспечивая более высокую точность, чем FP8. Хотя FP16 требует больше памяти и вычислительной мощности, он часто используется в ситуациях, когда точность вычислений имеет решающее значение, например при обучении больших моделей ИИ или генерации высокодетализированных результатов.
В контексте Stable Diffusion 3.5 текстовый кодер T5 XXL FP8 использует точность FP8, чтобы сбалансировать производительность и эффективность оборудования, что делает его подходящим для широкого спектра устройств.
Рекомендуемый объём видеопамяти для запуска Stable Diffusion 3.5
Stable Diffusion 3.5 требует различный объём видеопамяти в зависимости от предполагаемого использования, например разрешения изображения, размера пакета и применения оптимизаций. Вот краткая сводка:
Сводка требований к видеопамяти
- Минимум (8 ГБ):
- Работает при серьёзных оптимизациях, таких как FP16 и xFormers.
- Подходит для генерации изображений с более низким разрешением (например, 512×512) при размере пакета 1.
- Ограничения: не справляется с высокими разрешениями (1024×1024) или сложными конвейерами.
- Рекомендуется (12–16 ГБ):
- Идеально подходит для стандартных разрешений (512×512 или 768×768) и умеренных функций (например, inpainting, ControlNet).
- Поддерживает размеры пакета 1–2 и более высокие разрешения (до 1024×1024).
- Примеры: NVIDIA RTX 3060 (12 ГБ), RTX 3080 (10–12 ГБ), RTX 4070 (12 ГБ).
- Оптимально (16–24 ГБ):
- Для генерации изображений высокого разрешения (1024×1024 и выше), расширенных функций и больших размеров пакета (4–8 изображений).
- Примеры: NVIDIA RTX 3090 (24 ГБ), RTX 4090 (24 ГБ).
- Профессиональный уровень (>24 ГБ):
- Для исследователей или производственных сред, требующих очень высоких разрешений (например, 2048×2048), дообучения или обучения моделей.
- Примеры: NVIDIA A100 (40 ГБ), H100 (80 ГБ).
Где скачать файлы Stable Diffusion 3.5
Чтобы настроить Stable Diffusion 3.5 Large Turbo, вам потребуется скачать необходимые файлы из репозиториев Hugging Face. Ниже приведены прямые ссылки:
1. Stable Diffusion 3.5 Large Checkpoint
- Имя файла:
sd3.5-large_turbo.safetensors - Ссылка для скачивания: Stable Diffusion 3.5 Large Turbo Checkpoint
2. Текстовые кодеры
- Clip G Encoder:
clip_g.safetensors- Ссылка для скачивания: Clip G Encoder
- Clip L Encoder:
clip_l.safetensors- Ссылка для скачивания: Clip L Encoder
- T5 XXL Encoder (FP8):
t5xxl_fp8.safetensors- Ссылка для скачивания: T5 XXL FP8 Encoder
Настройка контрольной точки Stable Diffusion 3.5 Large
Шаг 1. Упорядочивание файлов
После скачивания необходимых файлов упорядочите их в каталоге ComfyUI следующим образом:
- Файл контрольной точки:
Поместитеsd3.5-large_fp8_scaled.safetensorsв/models/checkpoints/.
- Файлы текстовых кодеров:
Поместитеclip_g.safetensors,clip_l.safetensors, иt5xxl_fp8_scaled.safetensorsв/models/clip/.
Шаг 2. Перезапуск ComfyUI
Перезапустите ComfyUI, чтобы убедиться, что новые файлы загружены правильно.
Рабочий процесс генерации изображений
Шаг 1. Загрузка модели и текстовых кодеров
- Откройте ComfyUI и загрузите рабочий процесс, скачанный с веб-сайта Comfy-Org/stable-diffusion-3.5-fp8 at main, и создайте TripleCLIPLoader узел для загрузки текстовых кодеров (по умолчанию загрузчик уже существует):
clip_g.safetensorsclip_l.safetensorst5xxl_fp8_e4m3fn_scaled.safetensors
- Подключите текстовые кодеры ко входам позитивных и негативных промптов .
- Загрузите модель Stable Diffusion 3.5 Large fp8 (
sd3.5-large_fp8_scaled.safetensors) в качестве контрольной точки.
Шаг 2. Настройка параметров модели
Stable Diffusion 3.5 Large Turbo — это дистиллированная модель, оптимизированная для скорости. Настройте следующие параметры для получения оптимальных результатов:
- Шаги сэмплинга: установите количество шагов сэмплинга равным 4 , чтобы сократить время генерации при сохранении качества.
- CFG Scale: понизьте шкалу CFG (Classifier-Free Guidance) до 1 для сбалансированной генерации изображений.
Шаг 3. Генерация изображений
- Введите подробный промпт , который использует продвинутое понимание синтаксиса кодера T5.
Пример:A serene landscape with mountains in the background, a clear blue sky, and a flowing river, photorealistic, high detail. - Нажмите Queue , чтобы выполнить промпт.
- Примечание: первая генерация изображения может занять несколько минут из-за большого размера модели и кодеров. Последующие генерации будут быстрее.
Ключевые соображения по Stable Diffusion 3.5
- Длина промпта:
- Кодер T5 поддерживает до 256 токенов, что позволяет использовать подробные промпты.
- Однако кодер CLIP ограничивает промпты 75 токенов, что может ограничивать сложные описания.
- Требования к оборудованию:
- Хотя Stable Diffusion 3.5 Large Turbo оптимизирована для систем с ограниченной видеопамятью, начальная настройка всё ещё может требовать значительного объёма памяти, особенно для кодера T5.
- Качество результата:
- Модель генерирует изображения с разрешением 1024×1024, обеспечивая высококачественные результаты, подходящие для профессионального использования.
Заключение
Stable Diffusion 3.5 Large представляет собой значительный шаг вперёд в генерации изображений с помощью ИИ, предлагая более высокую скорость и лучшее понимание промптов. Следуя этому руководству, пользователи могут эффективно настроить и использовать модель с ComfyUI для создания потрясающих изображений высокого разрешения. С учётом дополнительных улучшений, ожидаемых в будущих обновлениях, Stable Diffusion 3.5 является мощным инструментом как для авторов, так и для разработчиков.