구글 딥마인드 RT-3 공개, 로봇 학습이 갑자기 빨라진 이유

구글 딥마인드가 RT-3 공개했습니다. 작년 이맘때 RT-2 보면서 "이게 진짜야?" 했었는데, RT-3는 또 차원이 달라요. 영상이랑 논문 둘 다 풀려서 어제 새벽까지 보고 정리했어요.

핵심만 적습니다.

RT-3가 왜 중요하냐

한 줄로 — 로봇이 처음 보는 작업도 알아서 해요. 진짜로.

예를 들어 "탁자 위 빨간 컵을 노란 접시 옆으로 옮겨" 같은 명령. RT-2까지는 학습 데이터에 비슷한 작업이 있어야 했어요. RT-3는 "컵", "접시"가 뭔지 알고, "옆으로 옮긴다"는 게 뭔지 알면 처음 봐도 함.

이게 로보틱스 업계에서 진짜 큰 진전이에요. 그동안 로봇은 학습 안 된 작업 시키면 그냥 멈췄거든요.

학습 속도가 갑자기 빨라진 비결

RT-3 페이퍼에서 제일 인상적이었던 부분. 새 작업 학습할 때 데모 영상 10개면 충분하다고 해요. RT-2는 200개 필요했어요. 20배 차이.

이게 가능한 이유는 새로 도입한 "Action Tokenizer". 로봇 동작을 언어처럼 잘게 쪼개서 LLM이 이해하기 쉬운 형태로 바꿔요. 그래서 LLM의 일반화 능력이 그대로 로봇에 옮겨가요.

설명 들으면 단순한데, 실제로 이거 동작하게 만들기까지 진짜 어려웠을 거예요. (논문 읽으면서 새벽 4시까지 안 자고 봤음.)

실제 시연 영상이 무서움

딥마인드가 푼 데모 보면, 한 번도 본 적 없는 부엌에 로봇 풀어놓고 "샌드위치 만들어줘" 시켜요. 그러면 진짜로 빵 찾고, 햄 찾고, 잼 발라요.

중간에 잼 통이 안 열리면 다른 도구 찾아서 열기까지 합니다. 이게 그동안 휴머노이드가 못 했던 거예요. "막혔을 때 대안 찾기".

이 영상 보면서 든 생각 — 이게 진짜 가정용 로봇으로 가는 길의 핵심이에요.

경쟁사들 반응

NVIDIA GR00T 진영은 약간 긴장한 분위기. GR00T N3가 이번 분기 발표 예정인데, RT-3보다 약하면 좀 골치 아파져요.

Tesla Optimus는 자체 모델 가니까 직접 비교는 어려운데, 머스크가 트위터에 "우린 데이터가 다르다"는 식으로 견제구 던졌어요.

흥미로운 건 1X Technologies. 자기네 NEO Gamma에 RT-3 탑재할지 모른다는 얘기 나옵니다. 만약 그렇게 되면 가정용 휴머노이드 정말 빠르게 나올 수도.

오픈 가중치는?

안타깝게도 아닙니다. RT-3 자체는 공개 안 해요. 논문만. 코드 일부랑 학습 데이터 일부는 공개한다는데, 모델 자체는 구글이 가지고 있을 듯.

대신 비슷한 방향으로 가는 오픈 프로젝트들이 빨라지긴 할 거예요. Hugging Face의 LeRobot, π0(파이 제로) 같은 프로젝트들.

잡상

제가 솔직히 이번 RT-3 보면서 약간 충격이었던 건, 휴머노이드보다 "로봇 두뇌"가 더 빨리 발전하고 있다는 점이에요. 하드웨어는 한참 더 가야 하는데 소프트는 이미 사람 흉내 잘 내요.

1년 뒤 RT-4 어떨까요. 그땐 진짜 "AGI 로봇" 수준 이야기 나올 수도 있겠는데요.

여러분도 RT-3 영상 보시고 어떤 점이 제일 무서웠는지 댓글로 남겨주세요. 다음 편에선 RT-3 vs Tesla Optimus 자체 AI 비교해볼게요.