ComfyUI로 로봇 비전 워크플로 짜봤는데, 진짜 노코딩 혁명이더라고요

솔직히 말해도 될까요? 처음 ComfyUI를 봤을 때 "이게 뭐야, 그냥 노드 연결하는 거잖아?"라고 가볍게 봤어요. 그런데 한 달 써보고 나니까 진심으로 미안하더라고요. 이건 그냥 노코딩 혁명이에요.

오늘은 보통 Stable Diffusion 이미지 생성용으로 알려진 ComfyUI를 '로봇 비전 워크플로'에 활용한 후기를 풀어볼게요. 진짜 게임 체인저급이에요.

🎨 ComfyUI가 도대체 뭐야?

ComfyUI는 'Stable Diffusion'을 노드 연결 방식으로 다룰 수 있게 해주는 오픈소스 도구예요. 비유하자면 레고 블록처럼 '이미지 입력 노드 → AI 모델 노드 → 결과 노드'를 선으로 연결해서 동작을 정의하는 거죠.

코드 한 줄 안 쓰고 복잡한 AI 워크플로를 짤 수 있다는 점에서 진짜 혁명이에요. UI/UX가 화려하진 않지만, 기능 면에선 정말 강력해요.

로봇 비전이랑 무슨 상관일까?

여기가 진짜 포인트예요. ComfyUI는 단순히 그림 그리는 도구가 아니에요. 'YOLO 객체 인식', 'SAM 세그멘테이션', 'Depth Estimation' 같은 비전 모델을 노드로 끼워서 쓸 수 있어요. 카메라 입력 → 객체 인식 → 박스 좌표 출력까지 코드 없이 짤 수 있다는 거죠.

⚙️ 설치 — 5분 컷

NVIDIA GPU가 있다면 5분이면 끝나요. 깃허브에서 ComfyUI 저장소를 클론하고 의존성 설치 한 줄이면 돼요.

git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
pip install -r requirements.txt
python main.py

마지막 명령 치면 'http://127.0.0.1:8188'에서 인터페이스가 떠요. 처음 켰을 땐 빈 캔버스만 있어서 "어 이거 뭐 어떻게 해?" 싶지만, 우클릭하면 노드 메뉴가 와르르 나와요.

🤖 로봇 카메라 객체 인식 워크플로 만들기

제가 만든 가장 단순한 워크플로 하나 소개할게요. 카메라 이미지를 입력으로 받아서 YOLO로 객체를 찾고, 결과를 JSON으로 저장하는 거예요. 노드 5개면 끝나요.

1번 노드: Load Image (카메라 캡처 이미지 입력) → 2번 노드: YOLO Detector → 3번 노드: Draw Bounding Box → 4번 노드: Save Image → 5번 노드: Export JSON. 이렇게 다섯 줄을 마우스로 그어서 연결하면 끝이에요.

실제 동작 시연

제가 ESP32 카메라 모듈에서 찍은 책상 사진을 입력으로 넣었더니, 1초 만에 "키보드 0.95, 머그잔 0.88, 노트북 0.92"가 출력되더라고요. 이걸 코드로 짰으면 30분은 걸렸을 거예요.

🎁 커스텀 노드 — 무한 확장의 세계

ComfyUI의 진짜 매력은 커스텀 노드예요. 'ComfyUI Manager'를 깔면 수백 개의 커뮤니티 노드를 한 클릭으로 설치할 수 있어요. SAM2, GroundingDINO, MiDaS 같은 비전 모델들이 다 노드로 제공돼요.

특히 'GroundingDINO + SAM' 조합은 진짜 미친 수준이에요. "테이블 위의 빨간 컵"이라고 텍스트로 쓰면 그 컵만 정확히 마스킹해줘요. 자연어로 비전 모델을 다루는 시대가 온 거죠.

로봇 시점에서 응용하기

예를 들어 로봇이 "테이블에서 노트북만 찾아"라는 명령을 받았다고 해볼게요. ComfyUI 워크플로 안에 GroundingDINO 노드를 두고 텍스트 입력으로 "laptop"만 넣으면 정확한 바운딩 박스가 나와요. 이걸 ROS2 토픽으로 발행하면 진짜 로봇이 된 거예요.

🔌 ROS2와 연동하기

ComfyUI 결과를 ROS2로 보내려면 'ComfyUI API'를 쓰면 돼요. 8188 포트에 워크플로 JSON을 POST로 보내면 결과가 응답으로 와요. 이걸 파이썬 스크립트로 받아서 ROS2 토픽으로 발행하면 끝이에요.

import requests
res = requests.post("http://localhost:8188/prompt", json=workflow)
result = res.json()

이게 정말 강력해요. UI에서 워크플로 디자인은 시각적으로 하고, 실시간 호출은 코드로 하니까 두 마리 토끼를 다 잡는 거예요.

⚠️ 솔직한 단점

아직 한국어 자료가 정말 부족해요. 영어 유튜브와 디스코드를 뒤지셔야 해요. 그리고 GPU 메모리 8GB 이상은 필요해요. 노트북 내장 그래픽으로는 어림없어요.

또 노드가 너무 많아지면 캔버스가 정신없어져요. 워크플로 정리하는 습관이 중요해요. 그룹화 기능 적극 활용하세요.

🎯 마무리 — 한번 써보면 다른 도구로 못 돌아가요

ComfyUI는 단순한 이미지 생성 도구가 아니에요. AI 비전 워크플로를 시각적으로 설계하는 표준이 되어가고 있어요. 로봇 개발자라면 한 번쯤 꼭 도전해보세요.

처음엔 어렵게 느껴지지만, 일주일만 만져보면 진짜 빠져들어요. 여러분의 ComfyUI 사용 후기, 댓글로 공유해주세요. 다음 글에선 ComfyUI 워크플로를 ROS2 노드로 자동 변환하는 방법을 다뤄볼게요!