はじめに
Stable Diffusion のような AI モデル向けに効果的なプロンプトを作成することは、芸術であり科学でもあります。 プロンプトエンジニアリングとして知られるこのプロセスでは、AI が望ましい出力を生成するよう導くために、テキスト入力を慎重に作成します。自然言語を書いているように見えるかもしれませんが、その背後にある仕組みには トークン化 と 重み付けが関わっており、カジュアルな文章を書くよりもプログラミングに近いものです。
このチュートリアルでは、 ComfyUIで効果的なテキストプロンプトを書く方法を、ベストプラクティス、トークン化、重み付けのテクニック、「マジックワード」の取り入れ方に焦点を当てて解説し、高品質で一貫性のある結果を生成できるようお手伝いします。
プロンプトエンジニアリングとは？
プロンプトエンジニアリングとは、AI の出力に影響を与える入力 (プロンプト) を設計するプロセスです。 Stable Diffusionのような、テキストから画像を生成するために CLIP モデル を使用するモデルでは、プロンプトは トークンに分解されます。これは単語やフレーズの数学的表現です。これらのトークンは、画像生成プロセスを条件付けるためにサンプラーに渡されます。
トークン化を理解し、プロンプトを効果的に構成することは、 ComfyUIの機能を使いこなすための鍵です。
Stable Diffusion におけるトークン化の仕組み
言語単位
CLIP モデルはプロンプトを 言語単位として処理します。これには次のようなものがあります。
- 単語 (e.g., “sunset”)
- 短いフレーズ (e.g., “golden hour lighting”)
- 頭字語またはイニシャリズム (e.g., “HDR”)
これらの言語単位は トークンに変換されます。トークンは、AI がプロンプトを解釈するために使用する数学的な値です。
トークン数の制限
プロンプトは 77 トークンのグループにまとめられます。これには、シーケンスの先頭と末尾のトークンが含まれます。プロンプトが 75 トークンを超えると、77 トークンのグループが追加で作成されます。ただし、これにより各トークンの効果が薄れ、AI がプロンプトを「理解」する能力が低下する可能性があります。
最適なトークン数
プロンプトの 最適なバランス は、およそ 30 トークンです。これにより、すべてのトークンが効果的に重み付けされ、プロンプトが簡潔でインパクトのあるものに保たれます。
効果的なプロンプトを書くためのベストプラクティス
次のベストプラクティスに従うことで、 ComfyUIで一貫した高品質な結果を得ることができます。
1. 枠組みとなる表現を使う
生成したい 画像の種類 からプロンプトを始めましょう。これにより AI のコンテキストが設定されます。
例：
- “Oil painting of…”
- “Cinematic still of…”
- “Digital illustration of…”
- “Hyperrealistic 3D render of…”
- “Photograph of…”
- “Anime-style drawing of…”
2. 主題を説明する
次のような詳細を含め、画像の主題を明確に定義します。
- 何であるか (e.g., “a medieval castle”)
- どこにあるか (e.g., “on a cliff overlooking the ocean”)
- どのように配置されているか (e.g., “surrounded by mist”).
例：
- “A futuristic cityscape with glowing neon signs”
- “A serene forest with sunlight filtering through the trees”
- “An elegant woman in a flowing dress standing in a garden”
3. ライティングとエフェクトを含める
奥行きとリアリズムを加えるために、ライティング条件とカメラエフェクトを指定します。
例：
- “Soft golden hour lighting”
- “Moody shadows and highlights”
- “Lens flare effect”
- “Dynamic lighting with volumetric fog”
- “Backlit subject with rim lighting”
4. カラーパレットを定義する
統一感のある美しさを作り出すために、特定の色やトーンに言及します。
例：
- “Muted earth tones with hints of gold and silver”
- “Vibrant neon colors against a dark background”
- “Cool blue and green hues with warm orange accents”
5. プロンプトを簡潔に保つ
長すぎるプロンプトは避けましょう。キーワードや短いフレーズを使って、トークン数の制限を超えることなく意図を伝えましょう。
ComfyUI プロンプトのためのマジックワード
プロンプトの品質と具体性を高めるために、 マジックワードを取り入れましょう。これは、 Stable Diffusionとうまく機能することが知られているキーワードやフレーズです。これらの言葉は、AI が意図をより正確に解釈するのに役立ちます。
アートスタイル
- “Hyperrealistic”
- “Photorealistic”
- “Surrealism”
- “Impressionist”
- “Cyberpunk”
- “Steampunk”
- “Fantasy art”
- “Baroque”
- “Abstract art”
- “Minimalist”
ライティングとエフェクト
- “Volumetric lighting”
- “God rays”
- “Dynamic shadows”
- “Bokeh effect”
- “Soft focus”
- “High contrast lighting”
- “HDR”
- “Bloom effect”
- “Cinematic lighting”
- “Studio lighting”
テクスチャとディテール
- “Ultra-detailed”
- “Intricate patterns”
- “Fine textures”
- “Smooth gradients”
- “Sharp focus”
- “Highly stylized”
- “Grainy texture”
- “Metallic sheen”
- “Glass reflections”
構図とムード
- “Symmetrical composition”
- “Dynamic angles”
- “Atmospheric perspective”
- “Dreamlike ambiance”
- “Ethereal glow”
- “Dark and moody”
- “Bright and cheerful”
- “Epic scale”
- “Cinematic framing”
主題の説明
- “Majestic landscape”
- “Elegant portrait”
- “Futuristic architecture”
- “Mystical creature”
- “Ancient ruins”
- “Peaceful meadow”
- “Cosmic nebula”
- “Underwater scene”
- “Alien world”
カメラアングル
- “Close-up shot”
- “Wide-angle view”
- “Overhead perspective”
- “Low-angle shot”
- “Macro photography”
- “Tilt-shift effect”
- “Panoramic view”
トークンの重み付けを理解する
プロンプト内の トークンの順序 がその重みを決定し、先頭のトークンほど影響力が大きくなります。ただし、トークンの重みを手動で調整して出力を微調整することもできます。
1. 暗黙的な重み付け
デフォルトでは、プロンプトの先頭にあるトークンは、末尾のトークンよりも重みが大きくなります。トークンの順序を並べ替えると、結果が大きく変わる可能性があります。
2. 明示的な重み付け
特定のトークンの重みは、丸括弧 () または角括弧 []を使って手動で調整できます。
- 丸括弧 は重みを増加させます：
(golden hour lighting) - 角括弧 は重みを減少させます：
[golden hour lighting] - 二重丸括弧 は重みをさらに増幅させます：
((golden hour lighting))
例：
- “A majestic castle surrounded by mist, (soft golden hour lighting), [lens flare effect]”
ComfyUI でプロンプトを書くための最後のヒント
- マジックワードを試す：アートスタイル、ライティング、エフェクト、テクスチャを組み合わせて、ビジョンに最適な組み合わせを見つけましょう。
- プロンプトを洗練させる：望ましい結果が得られるまで、プロンプトを繰り返しテストして調整しましょう。
- ネガティブプロンプトを使う：除外したい要素を指定します (例：「blurry details」、「low-quality textures」)。
- トークン数の制限内に収める：トークンの効果を薄めないよう、プロンプトは簡潔に保ちましょう。
これらのテクニックを習得し、マジックワードを取り入れることで、 ComfyUI の可能性を最大限に引き出し、 Stable Diffusionで見事な高品質のビジュアルを生成できるようになります！