ElevenLabs Pro 한국어 보이스 클로닝 테스트, 이거 너무 소름이에요

이거 진짜 소름 돋았던 이야기인데요. 5분 분량 제 목소리 녹음 하나 올렸더니, 30분 뒤에 제가 말한 적 없는 한국어 문장을 제 목소리 그대로 읽어주는 거예요.

ElevenLabs Pro 결제하고 한국어 보이스 클로닝 돌려본 후기에요. 결론부터 말하면 "이거 보안적으로 진짜 위험할 수도 있겠다" 싶을 정도로 잘 됐어요.

녹음 데이터 5분이면 충분

처음에 가이드 보면 "최소 1분, 권장 3분 이상" 이라고 적혀 있어요. 제가 5분짜리 책 낭독 음성을 올렸는데, 학습 시간이 채 30분도 안 걸렸어요. 결과 들어보고 진짜 깜짝 놀랐어요. 톤, 발음 끝의 살짝 올라가는 습관까지 그대로 따라하더라고요.

제 와이프한테도 들려줬는데, 처음에는 "어 너 언제 이런 거 녹음했어?" 라고 묻다가 5초쯤 듣더니 "잠깐, 이거 너 목소리 아니야"라고 알아채긴 했어요. 그래도 한 5초는 속았어요.

한국어 톤 처리가 진짜 좋아짐

이전에 ElevenLabs 한국어 쓸 때는 "발음만 한국어, 억양은 외국인" 이런 느낌이었어요. 근데 v3 모델 들어가고 나서는 진짜 한국 사람이 읽는 것처럼 자연스러워요.

• 의문문 끝 올라가는 처리 자연스러움
• 쉼표 뒤 0.3초 멈춤이 사람이랑 똑같음
• 받침 발음이 어색하지 않음 (이게 그동안 진짜 약점이었음)
• 외래어를 아직 좀 굳어 있는 게 약점 (예: "스타벅스"를 "스따벅스" 비슷하게)

실제로 어디다 쓰면 좋을까

저는 유튜브 쇼츠 내레이션에 써봤어요. 제가 진짜 마이크 잡고 녹음하기 귀찮을 때, 대본만 쳐 넣고 클론한 제 목소리로 추출해서 영상에 얹는 거에요. 30초짜리 쇼츠 작업이 30분에서 5분으로 줄었어요.

오디오북 만드는 분들도 진짜 좋아할 듯해요. 작가가 직접 낭독하는 책이 비싸잖아요. 클로닝으로 작가 본인이 안 읽고도 작가 목소리 책 만들 수 있게 된 셈이에요. (윤리적 이슈는 별개로)

가격이 좀 무거움

Pro 플랜이 월 99달러예요. 한 달 50만 글자 정도 처리되는 양이에요. 영상 편집자나 팟캐스트 운영자가 아니면 좀 무거워요.

저는 1년 결제로 끊으면서 16% 할인 받아서 월 83달러 꼴로 쓰고 있어요. 그래도 비쌈.

마지막으로 한 가지 경고

본인 목소리 클론은 합법이고 자유에요. 근데 다른 사람 목소리를 동의 없이 클론하는 건 한국에서 부정경쟁방지법 위반될 수 있어요. ElevenLabs도 이거 막으려고 워터마크 자동 삽입하긴 해요. (오디오 분석하면 잡혀요)

여러분도 한 번 자기 목소리로 돌려보세요. 처음 결과물 듣는 순간 진짜 묘한 기분 들거예요. 다음 편에서는 ElevenLabs로 영상 더빙 작업 30분 안에 끝내는 워크플로우 다뤄볼게요.