Mistral Large 3 vs Llama 4, 한국어 능력 진짜 누가 위일지 테스트해봤어요

이거 진짜 궁금해서 직접 돌려본 결과인데요. Mistral Large 3, Llama 4 둘 다 오픈 가중치 풀린 김에 한국어로 빡세게 굴려봤어요. 결과가 좀 의외였어요.

제가 평소에 한국어 작업 많이 하거든요. 그래서 더 진지하게 비교했어요.

테스트 방법 먼저

똑같은 질문 47개 던졌습니다. 카테고리는 5개 — 일상 대화, 비즈니스 이메일 작성, 한국어 문법 교정, 시사 요약, 농담/개그.

두 모델 모두 70B 파라미터 기준. Hugging Face에서 직접 다운받아서 로컬 서버에 띄웠어요. (이거 세팅하는 데 3시간 걸렸음.)

일상 대화 — 의외의 결과

Mistral Large 3가 더 자연스러워요. 진짜 의외였어요. 작년 Mistral 2 때만 해도 한국어 좀 어색했거든요.

"점심 뭐 먹지" 같은 캐주얼한 질문에 Llama 4는 "한식, 중식, 양식 중에서 선호도가 어떻게 되시나요?" 식으로 약간 딱딱해요. Mistral은 "오늘 비도 오는데 뜨끈한 칼국수 어때요?" 처럼 톤이 부드러워요.

이건 진짜 체감 큰 차이입니다. 챗봇 만들 때 이게 결정적이거든요.

비즈니스 이메일은 Llama가 유리

반대로 정중한 격식체에서는 Llama 4가 깔끔해요. 거래처에 보낼 메일 초안 뽑아봤는데, Llama 4가 한국식 비즈니스 매너 더 잘 잡아요.

"안녕하십니까. 항상 변함없는 성원에 깊은 감사 인사 드립니다" 이런 톤. Mistral은 약간 영어 직역 같은 느낌이 남아 있어요.

문법 교정 비교

여기서 진짜 차이가 났어요. 의도적으로 틀린 문장 30개 줬는데 Mistral이 24개 잡아냈고 Llama가 19개. Mistral 정답률 80%, Llama 63%.

특히 띄어쓰기랑 조사 오용 잡는 데 Mistral이 강해요. (이거 좀 신기했어요. 프랑스 회사가 만든 모델이 이런 디테일을 어떻게 잡는지.)

시사 요약, 농담

시사 요약은 비등비등. 둘 다 환각이 약간 있어요. 근데 Llama 4는 한국 정치인 이름 더 잘 알고, Mistral은 글로벌 이슈에 강해요.

농담은 둘 다 어색합니다. 한국식 아재 개그 시키면 둘 다 어울리지 않게 영어 농담을 번역한 느낌이 나요. 이건 데이터셋 한계인 듯.

속도랑 메모리

같은 A100 한 장에서 토큰 생성 속도는 Mistral이 1.2배 빨라요. 메모리도 13% 덜 먹고. 양자화하면 격차 더 벌어집니다.

근데 Llama 4는 컨텍스트 윈도우가 256K로 압도적이에요. Mistral은 128K. 긴 문서 다룰 일 많으면 Llama가 무조건 유리.

결국 어느 거 쓰냐

제가 지금 챗봇 프로젝트에 쓰는 건 Mistral Large 3. 한국어 톤이 자연스럽고 속도 빠르고 메모리 덜 먹어서요. 비용 효율이 진짜 좋습니다.

근데 회사 내부 문서 RAG 시스템 만들면 Llama 4 쓸 거예요. 긴 컨텍스트가 결정적이거든요.

여러분도 한국어로 두 모델 직접 굴려보고 어떤 점에서 차이 느꼈는지 댓글로 남겨주세요. 다음 편에선 Mistral Large 3 vs Qwen 3 한국어 비교 들고 올게요.