Segment Anything(SAM) 완벽 가이드 — Meta의 이미지 분할 AI 도구

SAM이란? — 모든 것을 분할하는 AI

사진 속에서 사람, 자동차, 건물, 동물을 정확하게 잘라내고 싶다면? Meta가 만든 Segment Anything Model, 줄여서 SAM이 그 답이에요. SAM은 이름 그대로 이미지 속 모든 객체를 자동으로 분할(Segmentation)할 수 있는 혁신적인 AI 모델입니다.

2023년 공개 이후 컴퓨터 비전 분야에 엄청난 파장을 일으켰고, 로봇의 시각 인식 능력을 한 단계 끌어올린 핵심 도구로 자리잡았어요. 오늘은 SAM의 기능과 로봇 분야에서의 활용법을 자세히 살펴보겠습니다.

SAM의 핵심 기술과 작동 원리

SAM의 가장 놀라운 점은 사전 학습만으로도 처음 보는 이미지의 모든 객체를 정확하게 분할할 수 있다는 거예요. 기존 이미지 분할 모델은 특정 카테고리의 객체만 인식할 수 있었지만, SAM은 범용적으로 작동합니다.

SAM은 세 가지 입력 방식을 지원해요. 첫째는 포인트 프롬프트로, 이미지에서 특정 점을 클릭하면 그 점이 속한 객체를 자동으로 분할합니다. 둘째는 박스 프롬프트로, 사각형 영역을 지정하면 그 안의 객체를 분할해요. 셋째는 텍스트 프롬프트로, SAM 2에서는 텍스트로 원하는 객체를 지정할 수도 있습니다.

이 모든 것이 가능한 이유는 SA-1B라는 초대형 데이터셋으로 학습했기 때문이에요. 11억 개 이상의 마스크와 1,100만 장의 이미지로 구성된 이 데이터셋은 역사상 가장 큰 이미지 분할 데이터셋입니다.

SAM 2의 등장 — 영상까지 분할한다

2024년에 공개된 SAM 2는 정지 이미지를 넘어 동영상 분할까지 지원해요. 영상의 첫 프레임에서 객체를 지정하면, 이후 프레임에서도 자동으로 해당 객체를 추적하며 분할합니다.

이 기능은 로봇 분야에서 특히 중요해요. 로봇의 카메라가 촬영하는 실시간 영상에서 특정 물체를 지속적으로 추적할 수 있기 때문이죠. 예를 들어 물류 로봇이 컨베이어 벨트 위의 특정 제품을 추적하거나, 서비스 로봇이 사람의 움직임을 따라가는 것이 가능해집니다.

로봇 분야에서의 SAM 활용 사례

SAM은 로봇의 눈을 혁신적으로 업그레이드하는 도구예요. 주요 활용 사례를 소개할게요.

첫째, 로봇 팔의 물체 파지(Grasping)입니다. 로봇이 물건을 집으려면 먼저 물체의 정확한 윤곽을 파악해야 해요. SAM은 어떤 형태의 물체든 정밀하게 분할해서 로봇에게 물체의 경계 정보를 제공합니다. 이를 통해 로봇이 더 정확하고 안전하게 물체를 잡을 수 있어요.

둘째, 자율주행 로봇의 환경 인식입니다. 도로 위의 차량, 보행자, 신호등, 차선 등을 실시간으로 분할해서 로봇이 주변 환경을 정확히 파악할 수 있게 합니다.

셋째, 의료 로봇의 수술 보조입니다. 수술 중 카메라 영상에서 장기, 혈관, 종양 등을 정밀하게 분할해서 수술 로봇이 더 안전하게 시술할 수 있도록 돕습니다.

SAM vs 기존 이미지 분할 도구 비교

기존에도 YOLO, Mask R-CNN 같은 이미지 분할 도구가 있었어요. 하지만 SAM과의 차이점은 명확합니다.

YOLO는 사전에 학습한 카테고리의 객체만 인식할 수 있어요. 사람, 자동차, 개 같은 정해진 클래스에 포함되지 않는 객체는 인식하지 못하죠. 반면 SAM은 어떤 객체든 분할할 수 있어요. 처음 보는 독특한 형태의 물체도 문제없습니다.

Mask R-CNN은 정밀도는 높지만 처리 속도가 느리고 모델 크기가 큰 편이에요. SAM은 경량 버전인 MobileSAM을 통해 모바일 기기에서도 실시간 처리가 가능합니다.

다만 SAM은 객체가 무엇인지 분류(Classification)하는 기능은 없어요. 이 물체가 사과인지 오렌지인지는 알려주지 않고 그저 분할만 합니다. 따라서 YOLO와 결합해서 사용하는 것이 효과적이에요.

SAM의 미래와 로봇 비전의 진화

Meta는 SAM을 지속적으로 발전시키고 있어요. SAM 2에 이어 더 빠르고 정확한 버전이 계속 나올 것으로 예상됩니다. 특히 3D 공간에서의 분할과 촉각 데이터와의 결합이 다음 연구 방향으로 주목받고 있어요.

로봇의 시각 인식은 아직 인간 수준에 미치지 못하지만, SAM 같은 도구 덕분에 격차가 빠르게 줄어들고 있습니다. 완전 오픈소스로 공개되어 누구나 무료로 사용할 수 있다는 점도 큰 장점이에요. 로봇에게 더 좋은 눈을 선물하고 싶다면, SAM은 반드시 알아야 할 도구입니다!