소개
이전 글 ComfyUI에서 인페인팅 해상도 최적화하기에서는 전문화된 모델을 사용한 인페인팅 워크플로에서 해상도를 높이는 기법을 살펴보았습니다. 이를 바탕으로, 이 글에서는 일반 디퓨전 모델을 사용한 인페인팅에 중점을 둡니다. 이는 전문화된 인페인팅 모델을 사용할 수 없거나 적합하지 않은 시나리오에 다재다능한 접근 방식을 제공합니다.
이 가이드는 Set Latent Noise Mask와 Remove Latent Mask를 사용하여 매끄러운 결과를 얻는 방법을 안내합니다. 끝까지 읽으면 텍스처를 다듬고, 디노이징 매개변수의 균형을 맞추고, 일관된 출력을 위해 워크플로를 조정하는 방법을 이해할 수 있으며, 그 과정에서 일반 모델의 유연성을 활용할 수 있습니다.
워크플로를 살펴보고 ComfyUI에서 일반 디퓨전 모델을 사용한 인페인팅 방법을 알아보겠습니다.
목차
인페인팅에 일반 디퓨전 모델을 사용해야 하는 이유
- 전문화된 모델의 한계: Flux.1 Schnell과 같은 모델은 특정 시나리오, 특히 증류 모델을 다룰 때 실패할 수 있습니다.
- 일반 디퓨전 모델의 장점: Juggernaut XL과 같은 일반 모델은 비상용 애플리케이션에서 더 넓은 호환성과 향상된 이미지 품질을 제공합니다.
- 이상적인 사용 사례: 이 접근 방식은 마스크 영역에 새 콘텐츠를 생성하면서 원본 텍스처를 보존하는 데 적합합니다.
일반 디퓨전 모델을 사용한 인페인팅 단계별 워크플로
1단계: 이미지와 마스크 준비하기
- 배경 이미지 불러오기:
- Load Image 노드를 사용하여 ComfyUI로 이미지를 가져오세요.
- 마스크 만들기:
- 이미지를 마우스 오른쪽 버튼으로 클릭하고 Open in Mask Editor을(를) 선택하세요.
- 인페인팅하려는 영역을 칠하세요(예: 테이블 제거).
2단계: 그래프 설정하기
- KSampler Advanced 노드 추가하기:
- 세부 조정을 위해 두 개의 KSampler 노드를 사용하세요.
- 첫 번째 노드는 확산 단계의 대부분을 수행합니다(예: 20회 중 18회).
- 두 번째 노드는 일관성을 위해 이미지를 리샘플링합니다(예: 2단계).
- 프롬프트를 구성하세요.
- 첫 번째 노드: 인페인팅 영역에 대한 세부 정보를 지정하세요(예: “empty room, carpet textured”).
- 두 번째 노드: 원본 이미지와 일치하도록 전체 프롬프트를 포함하세요.
- 세부 조정을 위해 두 개의 KSampler 노드를 사용하세요.
- 디노이즈 매개변수 조정하기:
- 표준 KSampler 노드에서는 디노이즈 값을 0.6 and 0.8 사이로 설정하면 최적의 결과를 얻을 수 있습니다.
- 고급 노드에서는 확산 단계 중 노이즈 추가를 수동으로 제어하세요.
3단계: Set Latent Noise Mask 사용하기
- 목적: 이미지-이미지 작업과 무작위 노이즈 생성을 위한 영역을 분리합니다.
- 구성:
- VAE Encode에서 잠재 이미지를 Set Latent Noise Mask 노드에 연결하세요.
- Load Image 노드에서 마스크를 동일한 노드에 연결하세요.
- 잠재 출력을 첫 번째 KSampler 노드로 보내세요.
4단계: Remove Latent Mask로 워크플로 다듬기
- 목적: 리샘플링 과정이 마스크 영역뿐만 아니라 전체 이미지에 적용되도록 합니다.
- 구성:
- ComfyUI Essentials Node Pack을(를) Manager를 통해 설치하세요.
- Remove Latent Mask 노드를 두 KSampler 노드 사이에 추가하세요.
5단계: 결과 비교하기
- Image Comparer 노드를 추가하세요(rgthree 노드 팩에서 사용 가능).
- VAE Decode에서 원본 이미지와 디코딩된 출력을 비교기 입력에 연결하세요.
- 비교기 노드를 확장하여 전후 차이를 분석하세요.
최적화된 결과:
결과 최적화를 위한 핵심 인사이트
- 모델 선택: Juggernaut XL은 다른 모델에 비해 더 부드러운 텍스처와 더 나은 안티앨리어싱을 제공합니다.
- 디노이징 값: 0.6 and 0.8 사이의 값으로 실험하여 맥락 보존의 균형을 맞추세요.
- 프롬프트 구성: 인페인팅 영역에는 표적 프롬프트를, 리샘플링 일관성을 위해서는 포괄적인 프롬프트를 사용하세요.
결론
ComfyUI에서 일반 디퓨전 모델을 사용한 인페인팅은 전문화된 워크플로에 대한 유연하고 강력한 대안을 제공합니다. Set Latent Noise Mask와 Remove Latent Mask와(과) 같은 노드를 활용하면 원본 텍스처를 보존하면서 새 콘텐츠를 생성하는 매끄러운 결과를 얻을 수 있습니다. 상용 프로젝트든 비상용 프로젝트든, 이 접근 방식을 통해 이미지 품질과 세부 조정에 대한 제어력이 높아집니다.
더 고급 기술과 문제 해결 팁은 이전 글 ComfyUI에서 인페인팅 해상도 최적화을(를) 참조하세요.