ComfyUI로 AI 이미지 워크플로우 만드는 법 — 노드 기반 Stable Diffusion 실전 가이드

AI 이미지 생성의 한 단계 위, ComfyUI

Stable Diffusion으로 AI 이미지를 만들어보신 적 있나요? WebUI로 간단한 이미지 생성은 해봤는데, 더 복잡하고 정교한 워크플로우를 만들고 싶다면 ComfyUI가 답이에요. 노드 기반의 시각적 인터페이스로, 이미지 생성 파이프라인을 레고 블록 쌓듯이 만들 수 있습니다.

ComfyUI는 Stable Diffusion을 노드 방식으로 제어하는 오픈소스 GUI예요. 처음에는 좀 어려워 보일 수 있지만, 한번 익히면 WebUI로는 불가능한 복잡한 이미지 생성이 가능해져요. 오늘은 ComfyUI를 처음부터 단계별로 배워보겠습니다.

Step 1 — ComfyUI 설치하기

ComfyUI는 GitHub에서 무료로 다운로드할 수 있어요. Windows 사용자라면 포터블 버전을 다운로드하는 게 가장 간편합니다. 압축을 풀고 run_nvidia_gpu.bat(NVIDIA GPU 사용 시)를 더블클릭하면 바로 실행돼요.

맥이나 리눅스 사용자는 Python 환경에서 설치해야 해요. Python 3.10 이상과 PyTorch가 필요합니다. git clone으로 레포지토리를 받고, pip install -r requirements.txt로 의존성을 설치한 후 python main.py로 실행하면 됩니다. 실행하면 브라우저에서 127.0.0.1:8188 주소로 ComfyUI 인터페이스가 열려요.

모델 다운로드

ComfyUI 자체에는 AI 모델이 포함되어 있지 않아요. Stable Diffusion 체크포인트 모델을 별도로 다운로드해서 models/checkpoints 폴더에 넣어야 합니다. Civitai나 Hugging Face에서 원하는 모델을 다운로드하면 돼요. SDXL 기반의 모델을 추천합니다. 이미지 품질이 훨씬 좋거든요.

Step 2 — 노드 시스템 이해하기

ComfyUI의 핵심은 노드(Node)예요. 각 노드는 특정 기능을 담당하고, 노드끼리 선으로 연결해서 이미지 생성 파이프라인을 만듭니다. 기본 워크플로우에 필요한 핵심 노드들을 알아볼게요.

Load Checkpoint 노드는 AI 모델을 불러오는 역할이에요. CLIP Text Encode 노드는 프롬프트(긍정/부정)를 입력받아 텍스트를 모델이 이해할 수 있는 형태로 변환합니다. KSampler 노드는 실제 이미지 생성(디노이징)을 수행하고, VAE Decode 노드는 생성된 잠재 이미지를 실제 픽셀 이미지로 변환해요. 마지막으로 Save Image 노드가 결과를 저장합니다.

기본 워크플로우 만들기

새 워크플로우를 시작하면 빈 캔버스가 나와요. 캔버스를 더블클릭하면 노드 추가 메뉴가 나옵니다. Load Checkpoint 노드를 추가하고, 여기에 CLIP Text Encode 노드 두 개(긍정/부정 프롬프트)를 연결합니다. 그 다음 KSampler 노드를 추가하고, 모델, 긍정 프롬프트, 부정 프롬프트, 빈 잠재 이미지를 각각 연결해요. KSampler의 출력을 VAE Decode에 연결하고, 최종적으로 Save Image에 연결하면 기본 워크플로우 완성입니다.

Step 3 — 고급 워크플로우 구축

기본 워크플로우를 마스터했다면, 이제 더 고급 기능을 활용해볼게요. ControlNet 노드를 추가하면 기존 이미지의 포즈나 에지를 참조해서 새로운 이미지를 생성할 수 있어요. 로봇 프로토타입의 스케치를 넣으면, 그 형태를 유지하면서 사실적인 렌더링 이미지를 만들 수 있습니다.

IPAdapter 노드를 사용하면 참조 이미지의 스타일이나 캐릭터를 유지하면서 새로운 이미지를 생성할 수 있어요. 로봇 디자인의 일관성을 유지하면서 다양한 각도나 환경의 이미지를 만들 때 유용합니다. Upscale 노드를 추가하면 생성된 이미지의 해상도를 높일 수 있어요.

로봇 디자인에 활용하기

ComfyUI는 로봇 디자인 작업에 특히 유용해요. 프롬프트에 industrial robot design, sleek modern, white and blue color scheme 같은 키워드를 넣고, ControlNet으로 기본 형태를 잡으면, 전문 산업 디자이너 수준의 로봇 콘셉트 아트를 만들 수 있습니다. 여러 번 반복 생성해서 최적의 디자인을 찾아가는 과정이 정말 재미있어요.

Step 4 — 워크플로우 공유와 활용

ComfyUI의 큰 장점 중 하나는 워크플로우를 파일로 저장하고 공유할 수 있다는 점이에요. 만들어둔 워크플로우를 JSON 형태로 저장하면, 다른 사람도 그대로 불러와서 사용할 수 있습니다. 인터넷에는 수많은 커뮤니티 워크플로우가 공유되고 있어서, 다른 사람들이 만든 고급 워크플로우를 바로 활용할 수도 있어요.

ComfyUI Manager라는 확장 프로그램을 설치하면 커스텀 노드 관리가 훨씬 편해져요. 수백 개의 커스텀 노드가 개발되어 있고, 원클릭으로 설치할 수 있습니다.

주의사항과 팁

ComfyUI는 GPU 메모리를 많이 사용해요. SDXL 모델 기준으로 최소 8GB VRAM이 필요하고, 편안한 사용을 위해서는 12GB 이상을 추천합니다. VRAM이 부족하면 모델 로딩 옵션에서 fp16이나 fp8을 선택해서 메모리 사용을 줄일 수 있어요.

처음에는 기본 워크플로우부터 시작해서 하나씩 노드를 추가하면서 배우는 것을 추천합니다. 한꺼번에 복잡한 워크플로우를 만들면 에러가 났을 때 원인을 찾기 어려워요.

마무리 — 무한한 가능성의 시작

ComfyUI는 AI 이미지 생성의 가능성을 무한하게 확장해주는 도구예요. 처음에는 학습 곡선이 있지만, 노드 시스템에 익숙해지면 상상하는 거의 모든 이미지를 만들어낼 수 있습니다. 로봇 디자인, 프로젝트 시각화, 콘텐츠 제작 등 다양한 분야에서 활용해보세요!