소개
Stable Diffusion과 같은 AI 모델을 위한 효과적인 프롬프트를 만드는 것은 예술이자 과학입니다. 프롬프트 엔지니어링으로 알려진 이 과정은 AI가 원하는 출력을 생성하도록 안내하기 위해 텍스트 입력을 신중하게 작성하는 것을 포함합니다. 자연어를 작성하는 것처럼 보일 수 있지만, 그 이면의 메커니즘에는 토큰화 와 가중치 부여가 포함되어 있어, 가벼운 글쓰기보다 프로그래밍에 더 가깝습니다.
이 튜토리얼에서는 ComfyUI에서 효과적인 텍스트 프롬프트를 작성하는 방법을 살펴보며, 모범 사례, 토큰화, 가중치 부여 기법, 그리고 고품질의 일관된 결과를 생성하는 데 도움이 되는 “매직 워드”를 포함하는 방법에 중점을 둡니다.
프롬프트 엔지니어링이란?
프롬프트 엔지니어링은 AI의 출력에 영향을 주는 입력(프롬프트)을 설계하는 과정입니다. Stable Diffusion과 같이 텍스트-이미지 생성을 위해 CLIP 모델 을 사용하는 모델에서는 프롬프트가 토큰으로 나뉩니다. 토큰은 단어나 구의 수학적 표현입니다. 이러한 토큰은 이미지 생성 과정을 조건화하기 위해 샘플러로 전달됩니다.
토큰화를 이해하고 프롬프트를 효과적으로 구성하는 것은 ComfyUI의 기능을 마스터하는 열쇠입니다.
Stable Diffusion에서 토큰화가 작동하는 방식
언어 단위
CLIP 모델은 프롬프트를 언어 단위로 처리하며, 다음과 같을 수 있습니다.
- 단어 (e.g., “sunset”)
- 짧은 구 (e.g., “golden hour lighting”)
- 두문자어 또는 이니셜 (e.g., “HDR”)
이러한 언어 단위는 토큰으로 변환되며, 토큰은 AI가 프롬프트를 해석하는 데 사용하는 수학적 값입니다.
토큰 제한
프롬프트는 77개 토큰씩 그룹화되며, 여기에는 시퀀스의 시작과 끝을 위한 토큰이 포함됩니다. 프롬프트가 75개 토큰을 초과하면 77개 토큰 그룹이 추가로 생성됩니다. 하지만 이로 인해 각 토큰의 효과가 희석되고 AI가 프롬프트를 “이해”하는 능력이 저하될 수 있습니다.
최적의 토큰 수
프롬프트의 최적 지점 은 약 30개 토큰입니다. 이렇게 하면 모든 토큰이 효과적으로 가중치를 받고 프롬프트가 간결하고 임팩트 있게 유지됩니다.
효과적인 프롬프트 작성을 위한 모범 사례
다음 모범 사례를 따르면 ComfyUI에서 일관되고 고품질의 결과를 얻을 수 있습니다.
1. 프레이밍 장치 사용하기
생성하려는 이미지 유형 으로 프롬프트를 시작하세요. 이렇게 하면 AI의 맥락이 설정됩니다.
예시:
- “Oil painting of…”
- “Cinematic still of…”
- “Digital illustration of…”
- “Hyperrealistic 3D render of…”
- “Photograph of…”
- “Anime-style drawing of…”
2. 주제 설명하기
다음과 같은 세부 정보를 포함하여 이미지의 주제를 명확하게 정의하세요.
- 무엇인지 (e.g., “a medieval castle”)
- 어디에 있는지 (e.g., “on a cliff overlooking the ocean”)
- 어떻게 배치되어 있는지 (e.g., “surrounded by mist”).
예시:
- “A futuristic cityscape with glowing neon signs”
- “A serene forest with sunlight filtering through the trees”
- “An elegant woman in a flowing dress standing in a garden”
3. 조명과 효과 포함하기
깊이와 사실감을 더하기 위해 조명 조건과 카메라 효과를 지정하세요.
예시:
- “Soft golden hour lighting”
- “Moody shadows and highlights”
- “Lens flare effect”
- “Dynamic lighting with volumetric fog”
- “Backlit subject with rim lighting”
4. 색상 팔레트 정의하기
통일감 있는 미학을 만들기 위해 특정 색상이나 톤을 언급하세요.
예시:
- “Muted earth tones with hints of gold and silver”
- “Vibrant neon colors against a dark background”
- “Cool blue and green hues with warm orange accents”
5. 프롬프트를 간결하게 유지하기
지나치게 긴 프롬프트는 피하세요. 토큰 제한을 초과하지 않으면서 의도를 전달할 수 있도록 키워드와 짧은 구를 사용하세요.
ComfyUI 프롬프트를 위한 매직 워드
프롬프트의 품질과 구체성을 높이려면 매직 워드를 포함하세요. 이는 Stable Diffusion과 함께 잘 작동하는 것으로 알려진 키워드나 구입니다. 이러한 단어는 AI가 의도를 더 정확하게 해석하는 데 도움이 됩니다.
아트 스타일
- “Hyperrealistic”
- “Photorealistic”
- “Surrealism”
- “Impressionist”
- “Cyberpunk”
- “Steampunk”
- “Fantasy art”
- “Baroque”
- “Abstract art”
- “Minimalist”
조명과 효과
- “Volumetric lighting”
- “God rays”
- “Dynamic shadows”
- “Bokeh effect”
- “Soft focus”
- “High contrast lighting”
- “HDR”
- “Bloom effect”
- “Cinematic lighting”
- “Studio lighting”
텍스처와 디테일
- “Ultra-detailed”
- “Intricate patterns”
- “Fine textures”
- “Smooth gradients”
- “Sharp focus”
- “Highly stylized”
- “Grainy texture”
- “Metallic sheen”
- “Glass reflections”
구도와 분위기
- “Symmetrical composition”
- “Dynamic angles”
- “Atmospheric perspective”
- “Dreamlike ambiance”
- “Ethereal glow”
- “Dark and moody”
- “Bright and cheerful”
- “Epic scale”
- “Cinematic framing”
주제 설명
- “Majestic landscape”
- “Elegant portrait”
- “Futuristic architecture”
- “Mystical creature”
- “Ancient ruins”
- “Peaceful meadow”
- “Cosmic nebula”
- “Underwater scene”
- “Alien world”
카메라 앵글
- “Close-up shot”
- “Wide-angle view”
- “Overhead perspective”
- “Low-angle shot”
- “Macro photography”
- “Tilt-shift effect”
- “Panoramic view”
토큰 가중치 이해하기
프롬프트에서 토큰의 순서 가 가중치를 결정하며, 앞쪽 토큰이 더 큰 영향력을 가집니다. 하지만 토큰 가중치를 수동으로 조정하여 출력을 미세 조정할 수도 있습니다.
1. 암시적 가중치
기본적으로 프롬프트 시작 부분의 토큰은 끝부분의 토큰보다 더 큰 가중치를 가집니다. 토큰 순서를 바꾸면 결과가 크게 달라질 수 있습니다.
2. 명시적 가중치
특정 토큰의 가중치는 괄호 () 또는 대괄호 []를 사용하여 수동으로 조정할 수 있습니다.
- 괄호 는 가중치를 높입니다:
(golden hour lighting) - 대괄호 는 가중치를 낮춥니다:
[golden hour lighting] - 이중 괄호 는 가중치를 더욱 증폭합니다:
((golden hour lighting))
예시:
- “A majestic castle surrounded by mist, (soft golden hour lighting), [lens flare effect]”
ComfyUI에서 프롬프트 작성을 위한 마지막 팁
- 매직 워드 실험하기: 아트 스타일, 조명, 효과, 텍스처를 결합하여 비전에 가장 적합한 조합을 찾으세요.
- 프롬프트 다듬기: 원하는 결과를 얻을 때까지 프롬프트를 반복적으로 테스트하고 조정하세요.
- 네거티브 프롬프트 사용하기: 제외하려는 요소를 지정하세요(예: “blurry details”, “low-quality textures”).
- 토큰 제한 내에서 유지하기: 토큰 효과가 희석되지 않도록 프롬프트를 간결하게 유지하세요.
이러한 기술을 익히고 매직 워드를 활용하면 ComfyUI 의 잠재력을 최대한 발휘하고 Stable Diffusion으로 놀랍고 고품질의 비주얼을 생성할 수 있습니다!