インペインティングは、AI によるアート生成において重要な手法であり、特に正確な構図、複数の被写体、複雑なデザインが求められる場合に重要です。専用モデルによるインペインティングにより、クリエイターはテキスト プロンプトの制限を克服できます。テキスト プロンプトは 30 トークンを超えると、意図しない出力や無視される出力につながることがよくあります。この記事では、Stable Diffusion モデルに焦点を当ててインペインティングのプロセスを探り、ワークフローを強化するための実践的な知見を提供します。
目次
インペインティングとは何か、なぜ重要なのか
インペインティングとは、周囲のコンテンツを保持しながら、既存の画像の特定の領域を変更することです。プロンプトだけでは望ましい結果が得られない場合、この手法は非常に貴重です。生成プロセスを管理しやすいステップに分解できるからです。
たとえば、まず背景画像を作成し、次にインペインティングを使用してキャラクターやオブジェクトなどの前景の被写体を挿入できます。この階層的なアプローチにより、構図をより細かく制御でき、テキスト エンコーダへの過負荷という落とし穴を回避できます。
専用インペインティング モデルの役割
専用インペインティング モデルはこの目的のために特別に学習されており、汎用モデルよりも優れた結果をもたらします。たとえば、背景の生成にRealistic Vision 5.1モデルを使用した場合、それに対応するRealistic Vision 5.1 インペインティング モデルと組み合わせることで最良の結果が得られます。これらのモデルは通常、Civitaiのようなプラットフォームで入手できます。
インペインティング モデルの主要な設定：
- モデルのインストール：インペインティング モデルが正しいフォルダに配置されていることを確認します。ComfyUI の場合、これは、
models/Checkpointフォルダに配置し、models/Inpaintingフォルダには配置しないことを意味します。 - 解像度の互換性：モデルのネイティブ寸法に合った解像度の画像を使用します (例：Realistic Vision 5.1 では 512×512)。解像度が合わないと、歪んだ結果になる可能性があります。
ComfyUI における段階的なインペインティング ワークフロー
1. インペインティング モデルの読み込み
- ComfyUI を開き、インペインティング モデルをLoad Checkpointノードに読み込みます。
- 最適なパフォーマンスを得るために、モデルに VAE (変分オートエンコーダ) が含まれていることを確認します。
2. ベース画像の準備
- Load Imageノードを使用して、準備した背景画像をアップロードします。
- 画像の解像度がモデルの最適な設定と一致していることを確認します。
3. インペインティング用 VAE エンコードの設定
- VAE Encode for Inpaintingノードをワークフローに追加します。このノードは潜在画像をKSamplerに接続し、3 つの入力を受け取ります：
- VAE：Checkpoint ノードから接続します。
- Pixels：Load Image ノードから接続します。
- Mask：変更したい領域を示すために、Load Image ノードから接続します。
4. マスクの作成と編集
- Load Image ノードを右クリックして、Open in Mask Editorを選択します。
- 円形ブラシを使用して、インペインティングを行う領域を描きます。ブラシ サイズは
[ ]キーで調整します。 - 完了したら、マスクをノードに保存します。
プロのヒント：マスクの形状は、新しい被写体が配置される場所の大まかな目安にすぎません。被写体の正確な輪郭を定義するものではありません。
5. プロンプトの定義
- 明確で簡潔なプロンプトを作成します。たとえば：
「海の上のボート。」 - 不要な要素を除外するためにネガティブ プロンプトを使用します。たとえば、「醜い、変形した、グロテスク。」
6. 生成と調整
- ワークフローをキューに入れ、出力を確認します。結果が満足のいくものでない場合は：
- マスクのサイズや形状を調整します。
- シードを再ランダム化します。
- さまざまなプロンプトやパラメータを試します。
注記：マスク領域が小さいと、モデルの潜在空間の限られた部分しか利用しないため、歪んだ結果になる可能性があります。より良い結果を得るには、マスクを拡大するか、解像度を上げることを試してください。
ワークフロー全体
元の画像：
インペインティング：
一般的な問題のトラブルシューティング
- ぼやけた出力や歪んだ出力：
- 画像の解像度がモデルの仕様に合っていることを確認します。
- 歪みを減らすために、より大きなマスク領域を使用します。
- 非現実的または不自然な結果：
- シードを再ランダム化し、マスクを調整します。
- ベース モデルと互換性のある専用インペインティング モデルを使用します。
- モデルの制限：
- インペインティング モデルが細かいディテールに苦労する場合は、タスクをより小さなステップに分割するか、より高解像度の画像を使用することを検討してください。
参考資料
まとめ
Realistic Vision 5.1 のような専用モデルによるインペインティングは、AI 生成の構図に対する比類のない制御を提供します。上記の手順に従うことで、正確で視覚的に魅力的な結果を得ることができます。マスク、プロンプト、シードを試して、ワークフローをさらに磨き上げてください。