内绘（Inpainting）是 AI 驱动的艺术生成中的一项关键技术，尤其是在需要精确构图、多个主体或复杂设计时。使用专门模型进行内绘使创作者能够克服文本提示词的局限性，因为提示词超过 30 个 token 时常常导致意外或被忽略的输出。本文探讨内绘过程，重点介绍 Stable Diffusion 模型，并提供可操作的见解以增强你的工作流。
目录
什么是内绘？为什么它很重要？
内绘是指在保留周围内容的同时修改现有图像的特定区域。当仅靠提示词无法实现期望的结果时，这项技术非常宝贵，因为它可以将生成过程分解为可管理的步骤。
例如，你可以先创建一张背景图像，然后使用内绘插入前景主体，如角色或物体。这种分层方法可以更好地控制构图，并避免文本编码器过载的陷阱。
专门内绘模型的作用
专门内绘模型是专门为此目的训练的，与通用模型相比能提供更出色的结果。例如，如果你使用了Realistic Vision 5.1模型来生成背景，将其与相应的Realistic Vision 5.1 内绘模型搭配使用将获得最佳效果。这些模型通常可以在以下平台上找到：Civitai。
内绘模型的关键设置：
- 模型安装：确保将内绘模型放置在正确的文件夹中。对于 ComfyUI，这意味着将其放置在
models/Checkpoint文件夹中，而不是models/Inpainting文件夹中。 - 分辨率兼容性：使用与模型原生尺寸相匹配的分辨率的图像（例如 Realistic Vision 5.1 使用 512×512）。分辨率不匹配可能导致扭曲的结果。
ComfyUI 中的分步内绘工作流
1. 加载内绘模型
- 打开 ComfyUI，并将内绘模型加载到Load Checkpoint节点中。
- 验证模型是否包含 VAE（变分自编码器），以获得最佳性能。
2. 准备基础图像
- 使用Load Image节点上传你准备好的背景图像。
- 确保图像分辨率与模型的最佳设置一致。
3. 设置内绘用 VAE 编码
- 添加一个VAE Encode for Inpainting节点到工作流中。此节点将潜在图像连接到KSampler，并接受三个输入：
- VAE：从 Checkpoint 节点连接。
- Pixels：从 Load Image 节点连接。
- Mask：从 Load Image 节点连接，用于指示要修改的区域。
4. 创建和编辑蒙版
- 右键单击 Load Image 节点并选择Open in Mask Editor。
- 使用圆形画笔绘制将进行内绘的区域。使用
[ ]键调整画笔大小。 - 完成后将蒙版保存到节点。
专业提示：蒙版的形状只是新主体放置位置的一般指示，并不定义主体的精确轮廓。
5. 定义提示词
- 编写清晰简洁的提示词，例如：
“海面上的一艘船。” - 使用负面提示词排除不需要的元素，例如“丑陋、畸形、怪异。”
6. 生成和优化
- 将工作流加入队列并查看输出。如果结果不满意：
- 调整蒙版大小或形状。
- 重新随机化种子。
- 尝试不同的提示词或参数。
注意：较小的蒙版区域可能导致扭曲的结果，因为它们只利用了模型潜在空间的一小部分。为了获得更好的效果，请尝试扩大蒙版或提高分辨率。
完整工作流
原始图像：
内绘：
常见问题排查
- 模糊或扭曲的输出：
- 确保图像分辨率符合模型的规格。
- 使用更大的蒙版区域以减少扭曲。
- 不真实或不自然的结果：
- 重新随机化种子并优化蒙版。
- 使用与基础模型兼容的专门内绘模型。
- 模型局限性：
- 如果内绘模型在处理小细节时遇到困难，可以考虑将任务分解为更小的步骤，或使用更高分辨率的图像。
其他资源
结论
使用 Realistic Vision 5.1 等专门模型进行内绘，可以对 AI 生成的构图实现无与伦比的控制。按照上述步骤操作，你可以获得精确且视觉上吸引人的结果。记得尝试使用蒙版、提示词和种子来进一步优化工作流。