Whisper + GPT로 로봇 회의록 자동 작성 시스템 만드는 법

회의록 작성, AI에게 맡겨보세요

회의가 끝난 후 회의록을 정리하는 것만큼 귀찮은 일도 없죠? 특히 1시간짜리 회의를 다시 듣면서 받아적는 건 시간 낭비라는 생각이 들 수밖에 없어요. 만약 AI가 자동으로 회의 내용을 듣고, 요약하고, 깔끔한 회의록까지 작성해 준다면 얼마나 좋을까요?

오늘은 OpenAI의 Whisper(음성 인식)와 GPT(텍스트 생성)를 결합해서 완전 자동 회의록 작성 시스템을 만들어 볼 거예요. 녹음 파일 하나만 넣으면 체계적인 회의록이 자동으로 생성됩니다. 파이썬 기초만 있으면 충분히 따라할 수 있어요!

Step 1 — 필요한 도구 설치하기

터미널에서 필요한 라이브러리를 설치합니다: pip install openai whisper pydub

openai 라이브러리는 GPT API 호출에, whisper는 음성을 텍스트로 변환하는 데, pydub는 오디오 파일 처리에 사용해요. Whisper를 로컬에서 실행하려면 ffmpeg도 설치해야 합니다. 윈도우에서는 choco install ffmpeg, 맥에서는 brew install ffmpeg로 설치할 수 있어요.

또한 OpenAI API 키가 필요합니다. OpenAI 플랫폼에서 발급받은 API 키를 환경 변수에 설정해 두세요.

Step 2 — 음성을 텍스트로 변환하기 (Whisper)

Whisper로 STT 구현

첫 번째 단계는 회의 녹음 파일을 텍스트로 변환하는 거예요. Whisper 모델을 로드하고 오디오 파일을 입력하면 됩니다.

파이썬에서 whisper를 import하고 모델을 로드해요. 한국어 회의라면 medium 이상의 모델을 추천합니다. model = whisper.load_model("medium")으로 모델을 로드하고, result = model.transcribe("meeting.mp3", language="ko")로 변환합니다.

Whisper의 강점은 타임스탬프도 함께 제공한다는 거예요. result의 segments에는 각 문장의 시작 시간과 끝 시간이 포함되어 있어서, 나중에 특정 발언을 찾아가기 쉽습니다.

긴 회의 녹음 처리 팁

1시간 이상의 긴 녹음 파일은 메모리 문제가 생길 수 있어요. 이때는 pydub를 사용해서 10분 단위로 잘라서 처리하면 됩니다. 각 조각을 개별적으로 변환한 후 결과를 합치는 방식이에요. 이렇게 하면 아무리 긴 회의도 문제없이 처리할 수 있습니다.

Step 3 — GPT로 회의록 작성하기

Whisper가 변환한 텍스트는 날것 그대로의 발언 기록이에요. 이것을 체계적인 회의록으로 변환하는 것이 GPT의 역할입니다.

OpenAI API를 사용해서 GPT-4에 회의 텍스트를 보내고, 정리된 회의록을 요청해요. 프롬프트 설계가 핵심인데, 시스템 메시지에 회의록 작성 전문가 역할을 부여하고, 출력 형식을 구체적으로 지정합니다.

효과적인 프롬프트 구성은 이렇습니다. 회의 기본 정보(날짜, 참석자, 주제)를 먼저 정리하고, 주요 논의 사항을 주제별로 분류해요. 각 주제별로 핵심 발언과 결정 사항을 정리하고, 마지막에 액션 아이템(할 일 목록)과 다음 회의 일정을 추출합니다.

Step 4 — 전체 파이프라인 연결하기

이제 Whisper와 GPT를 하나의 파이프라인으로 연결해 볼게요. 함수 하나로 오디오 파일을 입력하면 완성된 회의록이 출력되는 시스템을 만듭니다.

generate_meeting_minutes라는 함수를 만들어요. 이 함수는 오디오 파일 경로를 받아서 Whisper로 텍스트 변환, GPT로 회의록 생성, 결과를 마크다운 파일로 저장하는 세 단계를 순서대로 실행합니다.

출력된 회의록은 마크다운 형식이기 때문에 노션, 슬랙, 이메일 등 어디서든 깔끔하게 보여요. 원한다면 HTML이나 PDF로 변환하는 기능도 추가할 수 있습니다.

Step 5 — 고급 기능 추가하기

화자 구분(Speaker Diarization)

기본 Whisper는 누가 말했는지 구분하지 못해요. 하지만 pyannote-audio 라이브러리를 결합하면 화자를 구분할 수 있습니다. pip install pyannote.audio로 설치한 후, 각 발언이 누구의 것인지 태깅하면 회의록 품질이 확 올라가요.

실시간 회의록 작성

녹음 파일이 아닌 실시간 회의에서도 사용하고 싶다면 sounddevice 라이브러리를 사용해서 마이크 입력을 스트리밍으로 받을 수 있어요. 30초 단위로 오디오를 잘라서 Whisper에 보내면 거의 실시간으로 텍스트가 생성됩니다. 회의 종료 후 전체 텍스트를 GPT에 넘겨서 최종 회의록을 작성하는 구조예요.

마무리 — AI 비서가 완성되었습니다

이번 튜토리얼에서 만든 시스템을 활용하면 회의록 작성에 드는 시간을 90% 이상 줄일 수 있어요. Whisper의 정확한 음성 인식과 GPT의 뛰어난 텍스트 정리 능력이 결합되어 인간 수준의 회의록이 자동으로 생성됩니다.

이 기술은 회의록뿐 아니라 강의 노트 정리, 인터뷰 기록, 상담 내용 정리 등 다양한 분야에 응용할 수 있어요. 로봇 개발 팀의 미팅 기록이나 로봇 현장 작업 보고서 작성에도 활용해 보세요. AI 비서와 함께하는 스마트한 업무 환경을 직접 경험해 보시길 바랍니다!