인페인팅은 AI 기반 아트 생성에서 중요한 기법이며, 특히 정확한 구성, 여러 피사체 또는 복잡한 디자인이 필요할 때 중요합니다.특화 모델을 사용한 인페인팅을 통해 크리에이터는 텍스트 프롬프트의 한계를 극복할 수 있습니다. 텍스트 프롬프트는 30토큰을 초과하면 의도하지 않거나 무시되는 출력으로 이어지는 경우가 많습니다. 이 글에서는 Stable Diffusion 모델에 초점을 맞춰 인페인팅 과정을 살펴보고 워크플로를 개선하기 위한 실행 가능한 통찰을 제공합니다.
목차
인페인팅이란 무엇이며 왜 중요한가요?
인페인팅은 주변 콘텐츠를 유지하면서 기존 이미지의 특정 영역을 수정하는 것입니다. 프롬프트만으로는 원하는 결과를 얻을 수 없을 때 이 기법은 매우 유용합니다. 생성 과정을 관리 가능한 단계로 나눌 수 있기 때문입니다.
예를 들어 먼저 배경 이미지를 만든 다음 인페인팅을 사용하여 캐릭터나 물체와 같은 전경 피사체를 삽입할 수 있습니다. 이러한 계층적 접근 방식은 구성에 대한 제어를 강화하고 텍스트 인코더 과부하의 함정을 피합니다.
특화 인페인팅 모델의 역할
특화 인페인팅 모델은 이 목적으로 특별히 학습되어 일반 모델보다 우수한 결과를 제공합니다. 예를 들어 배경을 생성하기 위해Realistic Vision 5.1모델을 사용했다면, 이에 대응하는Realistic Vision 5.1 인페인팅 모델과 함께 사용하면 최상의 결과를 얻을 수 있습니다. 이러한 모델은 일반적으로Civitai와 같은 플랫폼에서 사용할 수 있습니다.
인페인팅 모델의 주요 설정:
- 모델 설치: 인페인팅 모델이 올바른 폴더에 배치되었는지 확인합니다. ComfyUI에서는
models/Checkpoint폴더에 배치하고,models/Inpainting폴더에는 배치하지 않는 것을 의미합니다. - 해상도 호환성: 모델의 기본 치수와 일치하는 해상도의 이미지를 사용합니다(예: Realistic Vision 5.1의 경우 512×512). 해상도가 일치하지 않으면 왜곡된 결과가 나올 수 있습니다.
ComfyUI에서 단계별 인페인팅 워크플로
1. 인페인팅 모델 로드
- ComfyUI를 열고 인페인팅 모델을Load Checkpoint노드에 로드합니다.
- 최적의 성능을 위해 모델에 VAE(변이형 오토인코더)가 포함되어 있는지 확인합니다.
2. 베이스 이미지 준비
- Load Image노드를 사용하여 준비한 배경 이미지를 업로드합니다.
- 이미지 해상도가 모델의 최적 설정과 일치하는지 확인합니다.
3. 인페인팅용 VAE 인코딩 설정
- VAE Encode for Inpainting노드를 워크플로에 추가합니다. 이 노드는 잠재 이미지를KSampler에 연결하고 세 가지 입력을 받습니다.
- VAE: Checkpoint 노드에서 연결합니다.
- Pixels: Load Image 노드에서 연결합니다.
- Mask: 수정하려는 영역을 나타내기 위해 Load Image 노드에서 연결합니다.
4. 마스크 만들기 및 편집
- Load Image 노드를 마우스 오른쪽 버튼으로 클릭하고Open in Mask Editor을(를) 선택합니다.
- 원형 브러시를 사용하여 인페인팅이 수행될 영역을 그립니다. 브러시 크기는
[ ]키로 조정합니다. - 완료되면 마스크를 노드에 저장합니다.
전문가 팁: 마스크 모양은 새 피사체가 배치될 위치에 대한 일반적인 지표일 뿐입니다. 피사체의 정확한 윤곽을 정의하지는 않습니다.
5. 프롬프트 정의
- 명확하고 간결한 프롬프트를 작성합니다. 예를 들어:
“바다 위의 보트.” - 원치 않는 요소를 제외하기 위해 네거티브 프롬프트를 사용합니다. 예를 들어,“못생긴, 기형적인, 그로테스크한.”
6. 생성 및 조정
- 워크플로를 대기열에 추가하고 출력을 검토합니다. 결과가 만족스럽지 않은 경우:
- 마스크 크기나 모양을 조정합니다.
- 시드를 다시 무작위화합니다.
- 다양한 프롬프트나 매개변수를 실험합니다.
참고: 마스크 영역이 작으면 모델 잠재 공간의 제한된 부분만 사용하므로 왜곡된 결과가 나올 수 있습니다. 더 나은 결과를 위해 마스크를 확대하거나 해상도를 높여 보세요.
전체 워크플로
원본 이미지:
인페인팅:
일반적인 문제 해결
- 흐릿하거나 왜곡된 출력:
- 이미지 해상도가 모델 사양과 일치하는지 확인합니다.
- 왜곡을 줄이기 위해 더 큰 마스크 영역을 사용합니다.
- 비현실적이거나 부자연스러운 결과:
- 시드를 다시 무작위화하고 마스크를 조정합니다.
- 베이스 모델과 호환되는 특화 인페인팅 모델을 사용합니다.
- 모델 한계:
- 인페인팅 모델이 작은 세부 묘사에 어려움을 겪는다면 작업을 더 작은 단계로 나누거나 고해상도 이미지를 사용하는 것을 고려하세요.
추가 리소스
결론
Realistic Vision 5.1과 같은 특화 모델을 사용한 인페인팅은 AI 생성 구성에 대한 비할 데 없는 제어를 제공합니다. 위에 설명된 단계를 따르면 정확하고 시각적으로 매력적인 결과를 얻을 수 있습니다. 마스크, 프롬프트, 시드를 실험하여 워크플로를 더욱 다듬으세요.