C09:避免提示词误区:AI 图像生成中编写有效提示词的最佳实践

精心编写有效的提示词对于在 Stable Diffusion 等 AI 系统中生成高质量图像至关重要,这些系统依赖 CLIP(Contrastive Language–Image Pretraining)等模型。然而,了解 CLIP 的局限性并避免常见错误可以显著改善结果。本指南概述了需要避免的关键误区,并提供了编写更好提示词的可行策略。



了解 CLIP 的局限性

CLIP 是连接文本与图像的强大工具,但它存在一些可能影响提示词解读方式的限制:

  1. 注重常用语言:CLIP 是在通用照片和说明文字上训练的。它能理解常用词语和概念,但在技术、科学或小众术语方面表现不佳。
  2. 不理解标点符号:逗号、句号等标点符号在模型处理过程中会被忽略。虽然它们可以提高人类可读性,但不会影响生成的图像。
  3. 简化的语言处理:CLIP 能有效处理名词、形容词和动词,但常常忽略冠词(例如 “the”)、介词(例如 “of”)和连词(例如 “and”)。多余的词语会削弱提示词的效果。
  4. 不是对话式 AI:与 ChatGPT 等大型语言模型不同,CLIP 更像是一个搜索引擎。它不理解礼貌的指令或冗长的措辞。

常见的提示词误区及避免方法

1. 用不必要的词语堆砌提示词

  • 误区:添加冠词、连词以及 “Create an image of” 或 “Please generate” 之类的短语会浪费 token,对结果没有任何影响。
  • 解决方案:保持提示词简洁直接。使用描述图像主题、风格和氛围的关键词。
  • 示例:
  • 较差:“Please create an image of a beautiful landscape with mountains and a sunrise.”
  • 较好:“Beautiful mountain landscape, sunrise, vibrant colors.”

2. 用标点符号来追求效果

  • 误区:添加逗号或其他分隔符,希望以此影响输出。这些字符会被 CLIP 忽略,只会增加随机性。
  • 解决方案:仅在与他人分享提示词时使用标点符号以提高可读性,但不要期望它会改变结果。
  • 示例:
    • “Beautiful mountain landscape, sunrise, vibrant colors” 与 “Beautiful mountain landscape sunrise vibrant colors” 会产生相似的结果。请参阅上面的示例输出。

3. 期望 CLIP 理解技术术语

  • 误区:使用 CLIP 未经训练识别的学名、行话或小众术语。
  • 解决方案:坚持使用广为人知的常用名称和描述,尤其是那些在公开数据集中常见的描述。
  • 示例:
  • 较差:“Archilochus colubris perched on a branch.”
  • 较好:“Ruby-throated hummingbird perched on a branch.”

4. 像对话一样写提示词

  • 误区:把 CLIP 当作对话式 AI,加入礼貌的指令或过于冗长的措辞。
  • 解决方案:像写搜索查询一样写提示词——简短扼要。
  • 示例:
  • 较差:“Can you please generate an image of a sunset over a calm ocean?”
  • 较好:“Sunset over calm ocean, serene, warm colors.”

5. 忽视 CLIP 的训练背景

  • 误区:期望 CLIP 理解公开数据集中通常没有收录的抽象或特定文化引用。
  • 解决方案:使用符合大众普遍理解的语言,例如美国青少年熟悉的描述。
  • 示例:
  • 较差:“Baroque architecture with intricate rococo detailing.”
  • 较好:“Elegant European palace, ornate design, gold accents.”

实际示例与案例研究

示例 1:简化冗长的提示词

  • 冗长提示词:“Please create a detailed image of a forest in autumn with colorful leaves falling from the trees.”
  • 优化后的提示词:“Autumn forest, colorful leaves, falling, serene atmosphere.”

示例 2:避免科学术语

  • 科学术语提示词:“Archilochus colubris perched on a blooming flower.”
  • 优化后的提示词:“Ruby-throated hummingbird on blooming flower, vivid colors.”

示例 3:使用常见描述

  • 抽象提示词:“A surreal depiction of existential dread.”
  • 优化后的提示词:“Dark surreal art, eerie atmosphere, abstract shapes.”

编写有效提示词的关键要点

  1. 保持简单:专注于清晰描述主题和期望风格的名词、形容词和动词。
  2. 避免多余词语:跳过冠词、介词和礼貌指令——它们对输出没有帮助。
  3. 使用常用语言:坚持使用广为人知的术语,避免过于技术性或晦涩的引用。
  4. 不要过度纠结标点符号:使用标点符号提高可读性,但不要期望它会影响图像生成。
  5. 与 CLIP 的训练数据保持一致:把提示词看作通用照片的说明文字——使用能引起大众共鸣的语言。

参考文献与延伸阅读

发表评论