简介
在我们的上一篇文章中，我们探讨了 ControlNet如何应用于 ComfyUI 工作流，利用线稿等外部输入来引导图像构图。虽然这种方法让我们实现了精确的物体放置，但由于默认的 ControlNet 参数，结果并不总是令人满意。例如，生成的狗遵循了简单涂鸦的轮廓，但缺乏解剖学上的准确性和自然的比例。
本文在此基础上，进一步深入探讨 ControlNet 参数调优，它能让你在理想的构图与扩散模型固有特性之间找到完美的平衡。通过调整 strength、start percent 和 end percent 等参数，你可以优化结果，同时实现真实的细节和准确的构图。
为什么微调很重要
默认的 ControlNet 设置会在整个扩散过程中以全部强度应用外部输入（例如线稿）。虽然这能确保生成的图像紧密遵循输入，但如果输入不准确或过于简单，可能会导致不自然的结果。例如：
- 影响过强：生成的图像可能过于严格地遵循输入草图，从而牺牲真实感。
- 构图丢失：将 ControlNet 的影响降得太多，可能会导致模型完全忽略输入，从而改变预期的布局。
微调让你能够控制 ControlNet 在扩散过程的不同阶段有多大的影响，从而确保构图与真实感之间的平衡。
关键 ControlNet 参数
1. 强度
这个strength 参数决定了外部输入对生成图像的影响程度。
- 高强度：图像紧密遵循输入，但可能会牺牲真实感。
- 低强度：图像融入了更多扩散模型的固有特性，但可能会偏离预期的构图。
2. 开始百分比
这个start percent 定义了 ControlNet 开始影响扩散过程的时间点。
- 对于大多数工作流，此值设置为 0，以确保 ControlNet 的影响从第一步就开始。
3. 结束百分比
这个end percent 控制 ControlNet 停止影响扩散过程的时间点。
- 降低此参数可让模型在后续步骤中接管，从而增强真实感，同时仍尊重最初的构图。
调优 ControlNet 参数的分步指南
步骤 1：调整强度
首先，尝试调整 strength 参数：
- 将强度设置为 1.0（最大影响），然后将工作流排队运行。
- 观察生成的图像与输入绘图的贴合程度。
- 在这种情况下，由于模型过于严格地遵循不准确的草图，狗的比例显得不自然。
- 将强度降低到 0.5（一半影响），然后再次将工作流排队运行。
- 在历史记录选项卡中比较结果。
- 在此设置下，解剖结构有所改善，但构图可能仍会受到轻微影响。
- 将强度进一步降低到 0.2，并观察变化。
- 生成的图像现在融入了更多扩散模型的固有特性，从而获得了更好的解剖结构。
- 不过，构图可能会与原始输入略有偏移。
- 尝试更低的强度（例如，0.1），找到 ControlNet 影响可以忽略不计的临界值。
步骤 2：调整结束百分比
为了优化构图与真实感之间的平衡，请调整 end percent 参数：
- 将 start percent 设为 0（默认值）。
- 首先，将 end percent 设置为 1.0，确保 ControlNet 的影响贯穿所有推理步骤。
- 这样生成的图像会严格遵循输入绘图。
- 将 end percent 设为 0.5，让扩散模型在过程进行到一半时接管。
- 这在输入绘图与模型的固有特性之间创造了平衡。
- 试试将 end percent 设置为 0.2，减少 ControlNet 在扩散过程后期阶段的影响。
- 在此设置下，最初的构图得到了尊重，同时模型会优化细节，从而获得更真实的结果。
步骤 3：结合强度和结束百分比
为了获得最佳效果，请同时调整 strength 和 end percent：
- 将 strength 设为 0.35 和 end percent 设为 0.35。
- 这种组合确保输入绘图影响构图，同时让模型优化细节。
- 将工作流排队运行，并将结果与之前的迭代进行比较。
- 在这些设置下，狗的解剖结构变得真实，同时保留了预期的构图。
结果与观察
微调这些参数后，您可以实现：
- 真实的解剖结构：扩散模型会优化比例和细节。
- 准确的构图：输入绘图的初始布局得到了尊重。
- 均衡的输出：生成的图像同时融入了外部输入和模型的固有特性。
例如：
- 强度：0.35，结束百分比：0.35在本案例研究中取得了构图与真实感之间的最佳平衡。
- 强度：1.0，结束百分比：0.2导致输入绘图的影响过大，造成了不自然的特征。
实际应用
微调 ControlNet 参数适用于：
- 艺术项目：在保持真实细节的同时实现创意构图。
- 设计任务：生成遵循特定布局或空间约束的图像。
- 原型制作：尝试不同程度的影响，以优化用于生产的输出。
结论
通过调整 ControlNet 参数，例如 strength、start percent 和 end percent，您可以在所需的构图与扩散模型的固有特性之间实现完美平衡。无论您从事的是艺术项目、技术设计还是创意原型制作，这些技术都能让您优化工作流并生成高质量的结果。
在下一篇文章中，我们将探讨组合多个 ControlNet 模型的高级技术，以实现对图像生成更强的控制。