言語: English · 简体中文 · 繁體中文 · Español · Português · Deutsch · Français · 日本語 · 한국어 · Русский · हिन्दी

C10：拡散モデルのサンプラーとスケジューラをマスターする：包括的ガイド

著者：

拡散モデルを扱う際、最適な結果を得るには、サンプラーとスケジューラの仕組みを理解することが重要です。これらのコンポーネントは、潜在空間からノイズがどのように除去されるかに影響し、最終出力の品質と特性を形作ります。このガイドでは、サンプラーの仕組みを詳しく掘り下げ、その重要性を説明し、ワークフローに最適なサンプラーとスケジューラの組み合わせを選択するための実践的な手順を紹介します。

サンプラーとは？

サンプラーは、拡散モデルの画像生成の基盤である拡散プロセスを導くアルゴリズムです。概して、拡散モデルはランダムノイズの場から始まり、それを反復的に改良して一貫した画像を生成します。サンプラーは、各ステップでのノイズ除去プロセスを制御することで、この改良の進め方を決定します。

サンプラーの仕組み

  1. 潜在空間の表現:
    拡散モデルは、画像の高次元表現である潜在空間で動作します。最初、潜在空間はランダムノイズで満たされています。
  2. 反復的な改良:
    サンプラーは、一連の数学的操作を使用して、潜在空間からノイズを反復的に除去することで動作します。これらの操作はサンプリング アルゴリズムによって定義され、ノイズ除去のペースと方法を決定します。
  3. ノイズ注入（任意）:
    アンセストラル サンプラーなどの一部のサンプラーは、各ステップで追加のノイズを注入します。この確率的なアプローチによりランダム性が導入され、モデルはより多様な可能性を探索し、より細かいディテールを解像できるようになります。
  4. 収束と発散:
    • 収束型サンプラー：潜在空間を徐々に改良し、後のステップが前のステップによく似るようにすることで、より滑らかで予測可能な結果を生み出します。
    • 発散型サンプラー：ランダム性を導入し、後のステップが前のステップから逸脱できるようにすることで、より自然な、またはより詳細な出力を生み出すことができます。
  5. 最終デコード:
    改良プロセスが完了すると、モデル固有のデコーダー（DAE デコーダーなど）を使用して潜在空間がデコードされ、最終画像が生成されます。

サンプラーが重要な理由

サンプラーは、次の点に直接影響するため重要です:

  • 画像品質：滑らかさ、ディテールの解像度、成果物の有無は、使用するサンプラーによって異なります。
  • モデルとの互換性：すべてのサンプラーがあらゆる拡散モデルで動作するわけではありません。互換性のないサンプラーを選択すると、結果が悪くなったり、出力が使用できなくなったりする可能性があります。
  • 処理時間：一部のサンプラーは他のサンプラーよりも計算負荷が高く、画像生成に必要な時間に影響します。
ComfyUI ワークフローにおけるサンプラー
サンプラー名説明ユースケース利点欠点
Eulerノイズ除去にオイラー法を使用する、シンプルで高速なサンプラー。基本的なワークフロー、クイックテスト、低複雑度のモデル。高速で計算効率が高い。ディテールが少なかったり、品質が低かったりする結果になる場合があります。
Euler_Cfg_PPより優れた制御のために、CFG（Classifier-Free Guidance：分類器なしガイダンス）と組み合わせた Euler サンプラー。画像生成に精密なガイダンスが必要なシナリオ。最終出力に対する制御が向上します。基本的な Euler サンプラーよりわずかに低速です。
Euler_Ancestralより多様な出力を得るためにランダム性を導入した Euler の派生版。出力にバリエーションが必要なクリエイティブなワークフロー。多様でユニークな結果を生み出します。出力にノイズや不整合が生じる場合があります。
Euler_Ancestral_Cfg_PPEuler Ancestral と CFG を組み合わせ、ガイド付きでありながら多様な出力を実現します。制御されたランダム性を伴うクリエイティブなワークフロー。多様性と制御のバランスを効果的に取ります。低速で、計算負荷が高くなる場合があります。
Heunノイズ除去の精度を高めるためにホイン法を使用するサンプラー。Euler よりも高い精度が必要なシナリオ。より滑らかで洗練された結果を生み出します。精度が高いため、Euler よりわずかに低速です。
DPM_22 次のノイズ除去拡散確率モデル（DPM）サンプラー。詳細な結果が必要な高品質ワークフロー。細部まで精緻な高品質の出力を生み出します。計算負荷が高く、低速です。
DPM_2_Ancestral多様な出力を得るために、DPM_2 サンプラーにランダム性を導入します。出力に多様性が必要なクリエイティブなワークフロー。品質を維持しながら多様な出力を生み出します。一貫性のない結果になる場合があります。
DPM_Fast速度を重視して設計された、より高速な DPM の派生版。許容できる品質で迅速な結果が必要なワークフロー。他の DPM の派生版より高速です。速度のためにディテールや品質をある程度犠牲にする場合があります。
DPM_Adaptive拡散中にノイズ除去プロセスを動的に調整します。適応的な改良が必要な複雑なワークフロー。バランスの取れた適応的な結果を生み出します。計算負荷が高い。
DPM++_2S_Cfg_PP高品質な出力向けに最適化された、ガイド付き DPM++ サンプラー。ガイド付きの改良が必要な、精度重視のワークフロー。高度に洗練された詳細な結果を生み出します。低速で、慎重な調整が必要です。
DPM++_SDE確率微分方程式（SDE）に基づく DPM++ サンプラー。ノイズ制御と滑らかな出力が必要なシナリオ。滑らかで成果物のない結果を生み出します。計算負荷が高く、低速です。
DPM++_2M2 次のマルチステップ DPM++ サンプラー。マルチステップの改良が必要な高品質ワークフロー。詳細で高品質な結果を生み出します。計算負荷が高い。
DDIMより高速な推論のためのノイズ除去拡散陰モデル（DDIM）サンプラー。許容できる品質でより迅速な結果が必要なシナリオ。従来の拡散サンプラーより高速です。ややディテールの少ない出力になる場合があります。
Uni_PCUni-PC（Uniform Predictor-Corrector：均一予測子修正子）法を使用するサンプラー。バランスの取れたノイズ除去が必要なワークフロー。バランスの取れた予測可能な結果を生み出します。複雑なワークフローでは柔軟性に限りがあります。
Uni_PC_BH2ノイズ除去能力を強化した Uni-PC の派生版。滑らかな出力が必要な高精度ワークフロー。Uni-PC よりも滑らかで洗練された結果を生み出します。計算負荷が高い。
IPNDM反復確率ノイズ拡散モデル サンプラー。精密なノイズ制御が必要な反復ワークフロー。非常に詳細で洗練された出力を生み出します。反復処理のため低速です。
DEIS拡散ベースの効率的な推論サンプラー。効率的で高速な推論が必要なシナリオ。高速で計算効率が高い。速度のために品質をある程度犠牲にする場合があります。
Gradient_Estimation拡散中に勾配を推定することに重点を置いたサンプラー。勾配分析が必要な研究ベースのワークフロー。詳細な勾配情報を提供します。汎用画像生成向けに最適化されていません。

スケジューラとは？

スケジューラは、各ステップでノイズをどのように除去するかを定義することで、サンプリング プロセスを制御します。サンプラーが改良に使用するアルゴリズムを決定するのに対し、スケジューラはノイズ除去のペースとパターンを決定します。

Stable Diffusion 用スケジューラ

スケジューラの仕組み

スケジューラは、次の方法でサンプリング プロセスを調整します:

  1. ノイズ除去戦略:
    各ステップで同じ量のノイズを除去するか、除去率を動的に調整するかを決定すること。
  2. ステップ調整:
    ステップ数が増えるにつれて、改良プロセスがどのように展開するかを制御すること。たとえば:
    • 均一スケジューラは、各ステップで固定量のノイズを除去します。
    • 動的スケジューラは、プロセスが進むにつれて除去するノイズを減らすため、後のステップでより細かい調整が可能になります。
  3. サンプラー性能の向上:
    サンプラーと適切なスケジューラを組み合わせることで、画像品質を大幅に向上させ、成果物を減らすことができます。
スケジューラ説明ユースケース利点欠点
Normal標準的な均一ノイズ除去プロセスを適用する既定のスケジューラ。基本的なワークフローと汎用画像生成。使いやすく、ほとんどのサンプラーと広く互換性があります。最適なサンプラーと組み合わせない場合、ノイズの多い結果や成果物が生じる場合があります。
Karrasノイズ除去を段階的に調整する動的スケジューラで、結果が改善されることがよくあります。高品質で成果物のない出力が必要な高度なワークフロー。成果物を減らし、画像品質を向上させます。特定のサンプラー向けに微調整が必要な場合があります。
Exponential初期ステップを重視し、指数パターンでノイズを徐々に減らします。初期段階の改良が重要なシナリオ。潜在空間でより滑らかな遷移を生み出します。後のステップで細かいディテールを解像するのが難しい場合があります。
SGM_Uniform確率的勾配法向けに調整され、均一ノイズ除去を適用するスケジューラ。確率的ワークフローや、SGM 手法向けに最適化されたモデルに適しています。すべてのステップで一貫したノイズ除去を保証します。動的なノイズ調整が必要なモデルでは、柔軟性に欠ける場合があります。
Simple複雑さを最小限に抑えた、わかりやすいスケジューラ。クイックテストや、シンプルさが求められるワークフロー。高速で、設定が簡単です。高品質な出力のための最適化機能に限りがあります。
DDIM_Uniform均一ノイズ除去を備えた、DDIM（ノイズ除去拡散陰モデル）向けに設計されたスケジューラ。一貫したノイズ低減が必要な DDIM ベースのワークフロー。DDIM サンプラーとの互換性を保証します。DDIM 以外のサンプラーではうまく動作しない場合があります。
Betaベータ分布を使用してノイズ除去を制御し、特定のステップを重視します。拡散プロセスの特定の段階を特に重視する必要があるシナリオ。ノイズ除去パターンに対する制御が向上します。詳細な設定と、ベータ分布の理解が必要です。
Linear_Quadraticノイズ除去に線形パターンと二次パターンを組み合わせます。緩やかなノイズ低減と積極的なノイズ低減の組み合わせが必要な複雑なワークフロー。滑らかな遷移とシャープな改良のバランスを取ります。適切なサンプラーと組み合わせない場合、一貫性のない結果になる場合があります。
KL_Optimalノイズによる成果物を最小限に抑えるために、KL ダイバージェンスを使用して最適化されたスケジューラ。ノイズと成果物を最小限に抑える必要がある高精度ワークフロー。高品質で成果物のない出力を生み出します。計算負荷が高く、慎重な調整が必要な場合があります。

Karus Scheduler

  • 仕組み：ステップ数に基づいてノイズ除去率を動的に調整し、より滑らかな結果を得るために改良プロセスを最適化します。
  • 利点：サンプラーの性能を向上させます。特に、次のようなサンプラーに効果的です:dpmpp_2m.
  • 制限事項：特定のワークフローに最適な設定を見つけるには、試行錯誤が必要な場合があります。

実践ワークフロー：サンプラーとスケジューラの選択

ステップバイステップのプロセス

  1. サンプラーを選択する:
    • 滑らかで予測可能な結果を得るために、Euler のような標準的なサンプラーから始めます。
    • より自然な、またはコントラストの高い出力を得るには、Euler Ancestral または UniPC に切り替えます。
    • 高度なタスクには、DPM ファミリーのサンプラーを試してみてください。
  2. 互換性をテストする:
    • サンプラーが拡散モデルと互換性があることを確認してください。たとえば、Juggernaut XL では LMS を避けてください。
  3. ワークフローを実行する:
    • 選択したサンプラーを使用して画像生成プロセスを実行します。
    • 結果を観察し、成果物、収束、発散に注意してください。
  4. スケジューラを調整する:
    • 出力にノイズが多かったり、成果物が多かったりする場合は、Karus のような動的スケジューラに切り替えます。
    • ワークフローを再実行し、結果を比較します。
  5. 出力を比較する:
    • キューパネルを使用して、さまざまなサンプラーとスケジューラの組み合わせで生成された画像間を移動します。
    • ディテール、コントラスト、成果物の解像度の違いを評価します。

例：サンプラーとスケジューラの比較

シナリオ設定

  • プロンプト: “A vibrant sunset over a mountain range with clouds, realistic style.”
  • 固定シード: 599869489844012
  • CheckPoint: Realistic Vision 5.1
  • ステップ数: 50
  • CFG スケール: 7.5
  • 解像度: 512×512

比較表

サンプラーとスケジューラの組み合わせ結果の説明強み弱み
Euler + Normal夕日と山がはっきりした基本的な画像を生成しますが、細かいディテールに欠けます。高速で計算効率が高い。雲が平面的に見えたり、色に鮮やかさが欠けたりする場合があります。
Euler_Ancestral + Karras柔らかくランダムな雲の形を持つ、より鮮やかな画像を生成します。画像に多様性と芸術的なセンスを加えます。山の形にわずかな不整合が生じる場合があります。
DPM++_2M + Exponential山の稜線がシャープで、雲が滑らかな、非常に詳細でリアルな画像を作成します。高品質でフォトリアリスティックな結果を生み出します。計算負荷が高く、低速です。
DDIM + Linear_Quadraticディテールが良好で、要素間の遷移が滑らかな、バランスの取れた画像を生み出します。まずまずの品質を維持しながら、DPM++ の派生版より高速です。DPM++ サンプラーの極端な改良には及ばない場合があります。
DPM++_2S_Cfg_PP + KL_Optimal複雑な雲のディテールとシャープな山の質感を持つ、驚くほどリアルな夕日を生成します。最高レベルの改良と、成果物のない出力を提供します。かなりの計算リソースと、より長い処理時間が必要です。
DPM_Fast + Beta色と質感が良好で、かなり詳細な画像を生み出します。ほとんどの DPM ベースのサンプラーより高速です。速度のためにディテールやシャープさをある程度犠牲にする場合があります。
Gradient_Estimation + Karras夕日と山の間にグラデーションのような遷移を持つ、芸術的な画像を生成します。クリエイティブなワークフローや研究ワークフローに最適です。フォトリアリスティックな出力には適さない場合があります。
DEIS + Normal許容できる品質で、適度に詳細な画像をすばやく生成します。非常に高速で、計算効率が高い。雲と山が単純化されすぎて見える場合があります。

視覚的な比較例

1. Euler + Normal

  • 出力：山と雲が見える基本的な画像ですが、複雑な質感に欠けます。
  • ユースケース：クイックプロトタイピングまたはテスト。

2. Euler_Ancestral + Karras

  • 出力：鮮やかな色彩とランダムな雲の形で、芸術的な解釈に寄っています。
  • ユースケース：多様性が優先されるクリエイティブなワークフロー。

3. DPM++_2M + Exponential

  • 出力：非常に詳細な山と雲、滑らかな遷移、リアルな照明効果。
  • ユースケース：高品質でフォトリアリスティックな画像生成。

4. DDIM + Linear_Quadratic

  • 出力：ディテールが良好で、グラデーションが滑らかなバランスの取れた画像で、汎用用途に適しています。
  • ユースケース：品質をあまり犠牲にすることなく、より高速なワークフロー。

重要なポイント

高速サンプラー（Euler、DEIS）:

迅速な結果には最適ですが、ディテールや改良に欠ける場合があります。

プロトタイピングや、リソースの少ない環境に役立ちます。

高品質サンプラー（DPM++ の派生版）:

リアルで詳細な画像を生成しますが、計算負荷が高くなります。

最終制作や、高精度が必要なワークフローに最適です。

クリエイティブ サンプラー（アンセストラル派生版）:

ランダム性と多様性を導入し、芸術的な出力に最適です。

創造性のために、一貫性やリアリズムを犠牲にする場合があります。

スケジューラの影響:

Normal：大きな改善のない、標準的な結果。

Karras：鮮やかさを向上させ、成果物を減らします。

Exponential：滑らかな遷移と初期の改良。

サンプラーとスケジューラの選択を最適化するヒント

  1. 実験が鍵:
    複数のサンプラーとスケジューラの組み合わせをテストし、モデルとユースケースに最適な組み合わせを見つけてください。
  2. モデルの要件を理解する:
    拡散モデルと特定のサンプラーやスケジューラとの互換性を調べてください。たとえば、DPM ファミリーのサンプラーは、最良の結果を得るために動的スケジューラを必要とすることがよくあります。
  3. 多様性のためにアンセストラル サンプラーを使用する:
    多様で自然な出力を生成することが目標であれば、Euler Ancestral のようなアンセストラル サンプラーの使用を検討してください。
  4. 動的スケジューラを活用する:
    Karus のような動的スケジューラとサンプラーを組み合わせることで、性能を向上させ、成果物を減らします。

結論

サンプラーとスケジューラは拡散モデルの基盤であり、生成される画像の品質と特性を形作ります。その仕組みを理解し、組み合わせを試すことで、ワークフローの可能性を最大限に引き出すことができます。収束型サンプラーで滑らかな出力を改良する場合でも、アンセストラル派生版で複雑なディテールを解像する場合でも、適切なスケジューラが大きな違いを生みます。

コメントを残す