회의 한 시간을 녹음했는데 몇 초 만에 화자별 자막과 단어별 시간이 나온다면, 회의록·상담 분석·영상 자막 제작의 작업 방식이 크게 달라집니다. Microsoft는 2026년 9월 3일 MAI-Transcribe-2를 Microsoft Foundry의 Azure Speech에서 공개 프리뷰로 출시했습니다. 모델 식별자는 MAI-Transcribe-2이며, 한국어를 포함한 60개 언어를 지원합니다.
이번 세대의 핵심은 정확도만이 아닙니다. 여러 사람의 발화를 나누는 화자 분리, 단어별 타임스탬프, 전문용어 힌트, 말버릇을 남기는 원문형과 다듬어진 문장형의 선택이 한 API에 들어왔습니다. 출시 프로모션 가격은 2026년 12월 31일까지 오디오 1시간당 0.10달러입니다.
다만 “세계에서 가장 정확하고 빠르고 저렴하다”는 Microsoft의 표현을 그대로 결론으로 받아들이면 곤란합니다. 독립 평가에서는 정확도 2위, 속도 4위권이며, 더 싼 모델도 있습니다. 이 글은 Microsoft 공식 문서와 독립 Artificial Analysis 측정값을 구분하고, 한국어 업무에 도입하기 전에 무엇을 직접 재현해야 하는지까지 정리합니다.
MAI-Transcribe-2에서 달라진 핵심
MAI-Transcribe-2는 파일 기반 음성을 텍스트로 바꾸는 비스트리밍 음성 인식 모델입니다. Microsoft Learn은 현재 기능을 공개 프리뷰로 표시하며 서비스 수준 계약(SLA)이 없고 운영 워크로드에 권장되지 않는다고 안내합니다. 따라서 새 프로젝트의 제한된 구간에서 먼저 시험하고, 장애 시 기존 음성 인식 모델로 돌아갈 경로를 마련해야 합니다.
- 60개 언어: 이전 MAI-Transcribe-1.5의 43개 언어에서 확대됐고 한국어
ko도 포함됩니다. - 화자 분리: 발화 구간마다 화자 번호와 시작·지속 시간을 반환합니다.
- 단어별 타임스탬프: 자막 정렬, 특정 단어 검색, 오디오 편집에 쓸 수 있습니다.
- 키워드 바이어싱: 제품명·인명·약어·의학 및 기술 용어를 힌트로 제공합니다.
- 두 가지 문체:
verbatim은 추임새와 말실수를 남기고,clean은 읽기 좋게 다듬습니다. - 자동 언어 감지: 언어를 지정하지 않아도 감지하며 일부 혼합 언어 대화의 코드 스위칭을 지원합니다.
회의록처럼 읽을 문서에는 clean, 콜센터 품질 검수나 법적 기록처럼 실제 발화가 중요한 경우에는 기본값인 verbatim이 적합합니다. 키워드 목록은 정답을 강제로 삽입하는 기능이 아니라 인식 확률을 높이는 힌트이므로, 사람이 최종 원문을 확인해야 합니다.
실제 성능: 독립 AA-WER 2.0%의 의미
가장 참고할 만한 외부 자료는 Artificial Analysis의 비스트리밍 음성 인식 리더보드입니다. 이 평가는 약 8시간 분량의 세 데이터셋을 사용합니다. AA-AgentTalk 50%, 정제된 VoxPopuli 25%, 정제된 Earnings22 25%를 오디오 길이로 가중해 단어 오류율(AA-WER)을 계산합니다. WER은 낮을수록 좋고, 속도 계수는 오디오 몇 초를 처리 시간 1초에 변환하는지를 뜻하므로 높을수록 좋습니다.
| 모델 | AA-WER | 중앙 속도 계수 | 1,000분 비용 | 측정 주체 |
|---|---|---|---|---|
| MAI-Transcribe-2 | 2.0% | 410.7배 | $1.67 | Artificial Analysis |
| ElevenLabs Scribe v2 | 2.2% | 52.0배 | $3.67 | Artificial Analysis |
| MAI-Transcribe-1.5 | 2.4% | 195.1배 | $6.00 | Artificial Analysis |
| Gemini 3.5 Transcribe | 2.6% | 90.5배 | $5.00 | Artificial Analysis |
| OpenAI GPT Transcribe | 3.3% | 35.4배 | $4.50 | Artificial Analysis |
| Deepgram Nova-3 | 5.2% | 606.1배 | $4.30 | Artificial Analysis |
2026년 9월 7일 확인 기준 정확도 1위는 1.7%의 Alibaba Fun-Realtime-ASR-preview이고, MAI-Transcribe-2는 2.0%로 2위입니다. 속도는 Nova-3 606.1배, Telnyx 경유 Nova-3 470.7배, Nova-2 442.9배가 더 높습니다. 따라서 MAI-Transcribe-2의 강점은 모든 단일 지표 1위가 아니라 낮은 오류율·높은 배치 속도·낮은 가격을 동시에 만족하는 균형에 있습니다.
이 수치는 영어 중심의 비스트리밍 시험이며 10분 오디오에서 최근 7일 중앙 속도 계수를 산출합니다. 짧은 전화 음성, 실시간 부분 자막, 한국어 방언, 여러 사람이 겹쳐 말하는 회의 성능을 그대로 보장하지 않습니다. 일부 경쟁 모델은 파일 길이 제한 때문에 약 9분 또는 30초로 나눠 평가됐으므로, 완전히 같은 요청 경로라고 단정해서도 안 됩니다.
FLEURS 1위와 서로 다른 두 WER 수치
Microsoft 모델 카드는 FLEURS 테스트 분할에서 언어를 미리 알려주지 않고 60개 언어를 자동 추론했다고 설명합니다. Microsoft 뉴스룸은 이 조건의 평균 WER을 5.2%라고 발표합니다. 반면 공식 모델 소개 페이지의 이전 세대 비교표는 “상위 25개 언어 평균”을 3.4%로 적고, MAI-Transcribe-1.5는 3.7%로 표시합니다.
| 공식 결과 | MAI-Transcribe-2 | 비교 기준 | 주의점 |
|---|---|---|---|
| FLEURS 전체 | 평균 WER 5.2% | 60개 언어, 언어 자동 추론 | Microsoft 제공사 측정값 |
| FLEURS 상위 언어 | 평균 WER 3.4% | 상위 25개 언어 | 전체 60개 결과와 모집단이 다름 |
| 이전 세대 | 1.5의 3.7% → 2의 3.4% | 상위 25개 언어 | 0.3%포인트, 약 8.1% 상대 오류 감소 |
3.4%와 5.2%는 충돌하는 성능표가 아니라 평가 언어 집합이 다릅니다. 잘 지원되는 25개 언어의 평균이 전체 60개보다 낮은 것은 자연스럽습니다. 한국어 한 항목의 WER이나 방언별 결과는 공식 자료에 따로 공개되지 않았으므로, “한국어도 3.4%”라고 쓰면 안 됩니다.
속도와 비용은 얼마나 개선됐나
Microsoft 공식 모델 페이지는 1시간 오디오의 모델 추론 시간을 약 10초로 제시합니다. MAI-Transcribe-1.5의 약 20초보다 두 배 빠른 제공사 측정값입니다. 독립 Artificial Analysis의 속도 계수도 195.1배에서 410.7배로 약 2.1배 높아져 방향은 일치합니다. Microsoft는 GPT Transcribe보다 10배, Scribe v2보다 7배, Gemini 3.5 Transcribe보다 5배 빠르다고 설명하지만, 해당 수치는 Artificial Analysis의 비스트리밍 측정 조건을 전제로 이해해야 합니다.
출시 가격은 2026년 12월 31일까지 오디오 1시간당 0.10달러입니다. 1,000분으로 환산하면 약 1.67달러이며, 이전 세대의 시간당 0.36달러보다 72.2% 낮습니다. 매달 10,000시간을 처리한다면 단순 API 비용은 프로모션 기간에 약 1,000달러입니다. 재시도, 저장, 네트워크, 후처리, 사람 검수 비용은 별도입니다.
| 월 오디오 사용량 | Transcribe-2 프로모션 | Transcribe-1.5 | 단순 차이 |
|---|---|---|---|
| 100시간 | $10 | $36 | $26 |
| 1,000시간 | $100 | $360 | $260 |
| 10,000시간 | $1,000 | $3,600 | $2,600 |
이 계산은 공개된 단가만 곱한 값입니다. 프로모션 종료 뒤 가격은 공식 자료에서 확인해야 하며, 현재 가격을 영구 단가로 예산에 고정하면 안 됩니다. 또한 더 낮은 단가의 모델도 존재하므로 “시장 최저가”라는 주장은 비교 대상과 무료·오픈웨이트 실행 비용을 어떻게 잡느냐에 따라 달라집니다.
API 사용법과 파일 제한
Microsoft Learn 사용 문서에 따르면 Microsoft Foundry Speech 리소스를 만들고 Fast Transcription API의 enhancedMode를 켠 뒤 모델 이름을 지정합니다. 요청 주소는 다음 형식입니다.
POST https://{resource}.cognitiveservices.azure.com/
speechtotext/transcriptions:transcribe?api-version=2025-10-15{
"enhancedMode": {
"enabled": true,
"model": "MAI-Transcribe-2",
"modelOptions": {
"timestamps": "word",
"transcribeStyle": "clean"
}
},
"diarization": {"enabled": true},
"phraseList": {
"phrases": ["MAI-Transcribe-2", "Microsoft Foundry"]
}
}지원 파일은 WAV, MP3, FLAC이며 모델 카드 기준 최대 300MB 또는 2시간입니다. 문서는 영어, 한국어, 일본어, 중국어 등을 포함한 60개 언어를 열거합니다. 모델 카드는 전 세계에서 접근 가능하다고 설명하지만 요청은 East US, West US, West US 2, North Europe, Central India, Southeast Asia로 라우팅됩니다. 개인정보와 데이터 거주 요건이 있는 조직은 실제 배포 리전과 계약 조건을 먼저 확인해야 합니다.
API 키는 코드나 로그에 넣지 말고 Azure Key Vault 또는 안전한 비밀 변수로 관리하세요. 의료·법률·인사 통화는 전사 결과가 그럴듯해도 사실 오류가 위험하므로, 타임스탬프로 원음과 빠르게 대조하는 검수 화면이 필요합니다.
화자 분리와 단어 타임스탬프 활용법
화자 분리를 켜면 응답의 각 구간에 speaker, offsetMilliseconds, durationMilliseconds가 포함됩니다. 단어 단위 타임스탬프를 함께 켜면 “누가 언제 어떤 단어를 말했는지”를 검색할 수 있습니다. 상담원과 고객의 발화 비율, 회의 참석자의 결정 문장, 자막의 클릭 재생, 개인정보가 나온 순간의 음소거에 활용할 수 있습니다.
- 먼저 화자 분리 없이 원문 정확도를 측정합니다.
- 그다음 같은 파일에서 화자 분리를 켜고 화자 변경 지점의 오류율을 기록합니다.
- 단어 타임스탬프와 실제 음성 시작점의 차이를 30개 이상 표본으로 확인합니다.
- 전문용어 목록을 넣기 전후로 해당 단어의 정답률과 일반 단어의 오인식을 함께 봅니다.
clean이 의미나 부정을 임의로 바꾸지 않는지 원문형과 비교합니다.
화자 번호는 실제 사람의 이름이 아닙니다. 여러 파일에 걸쳐 같은 화자를 자동으로 동일 인물로 유지한다고 가정해서도 안 됩니다. 긴 회의는 구간을 나눌 때 화자 번호가 달라질 수 있으므로, 별도의 화자 임베딩이나 수동 매핑 절차가 필요할 수 있습니다.
한국어 직접 재현 테스트 설계
이 글에서는 Azure 구독과 MAI-Transcribe-2 API 키로 실제 호출하지 않았습니다. 따라서 직접 사용 후기나 한국어 지연시간을 만들어내지 않았습니다. 아래는 독자가 자신의 환경에서 재현할 수 있는 시험 절차입니다.
- 자료 구성: 표준어 회의, 전화 통화, 카페 소음, 겹침 발화, 숫자·영문 제품명, 한국어와 영어 혼합 등 6종을 각 10분 이상 준비합니다.
- 정답 원고: 두 사람이 원음을 듣고 정답 전사를 만든 뒤 불일치를 합의합니다.
- 동일 조건: MAI-Transcribe-2와 기존 모델에 같은 음원, 같은 파일 형식, 같은 리전에서 각 3회 이상 요청합니다.
- 정확도: 전체 WER뿐 아니라 숫자, 고유명사, 부정 표현, 화자 변경 오류를 따로 집계합니다.
- 지연: 업로드 시작부터 응답 완료까지 p50과 p95를 기록하고 서버 추론 시간과 구분합니다.
- 비용: 성공 호출과 재시도를 모두 더해 최종 검수 완료된 오디오 1시간당 비용을 계산합니다.
- 운영 품질: 429·5xx 오류율, 화자 수 정확도, 타임스탬프 오차, 사람이 수정한 시간을 측정합니다.
| 평가 항목 | 측정 방법 | 통과 예시 |
|---|---|---|
| 한국어 WER | 정답 원고 대비 삽입·삭제·치환 비율 | 기존 모델보다 상대 오류 10% 이상 감소 |
| 고유명사 정확도 | 업무 용어 100개 정답률 | 키워드 힌트 후 일반어 오류 증가 없음 |
| 화자 분리 | 화자 변경점 F1과 잘못 귀속된 시간 | 업무 허용 기준 사전 정의 |
| 지연 | 동일 리전 30회 p50·p95 | 사용자 경험 목표 충족 |
| 작업당 비용 | API+재시도+사람 수정 시간 | 기존 흐름보다 총비용 절감 |
통과 기준은 제품마다 달라야 합니다. 자막 검색은 몇 개의 조사 오류를 허용할 수 있지만, 의료 기록의 약 이름이나 금융 상담의 금액은 단 한 번의 오류도 심각할 수 있습니다. WER 평균 하나보다 중요한 단어의 가중 오류율을 함께 보세요.
도입할 때 자주 실패하는 이유
첫째, 영어 독립 평가를 한국어 품질 보증으로 해석하는 경우입니다. AA-WER은 비교에 유용하지만 한국어 데이터가 아닙니다. 한국어 방언과 숫자·영문 혼합을 별도 시험해야 합니다.
둘째, 모델 추론 10초를 전체 응답시간으로 홍보하는 경우입니다. 업로드, 네트워크, 큐 대기, 후처리와 파일 길이에 따라 사용자가 느끼는 시간은 달라집니다.
셋째, 화자 분리 번호를 신원으로 저장하는 경우입니다. 번호는 구간을 나누는 표식일 뿐 실제 직원이나 고객의 이름을 인증하지 않습니다.
넷째, clean 결과만 보관하는 경우입니다. 읽기는 편하지만 추임새·말실수·반복이 사라질 수 있습니다. 규제나 분쟁 가능성이 있는 업무는 원음과 원문형 전사를 함께 보존하세요.
다섯째, 프로모션 단가를 장기 예산으로 확정하는 경우입니다. 0.10달러는 2026년 말까지의 한시 가격입니다. 종료 후 가격과 리전별 과금을 다시 확인해야 합니다.
여섯째, 프리뷰를 대체 경로 없이 핵심 업무에 연결하는 경우입니다. SLA가 없으므로 실패·할당량 초과·리전 장애 시 기존 모델 또는 사람 전사로 전환하는 절차가 필요합니다.
도입 전 체크리스트
- 공개 프리뷰이며 SLA가 없음을 이해했다.
- 한국어와 실제 녹음 환경으로 별도 평가 데이터를 만들었다.
- 전체 WER, 중요 단어, 화자 분리, 타임스탬프 오차를 따로 본다.
- 평균 속도뿐 아니라 업로드 포함 p50·p95를 기록한다.
- 프로모션 종료 뒤 가격을 예산 시나리오에 포함한다.
- 키와 음성 파일의 저장·접근·삭제 정책을 정했다.
- 의료·법률·금융 결과는 사람이 원음과 대조한다.
- 장애와 할당량 초과 시 대체 모델 또는 수동 절차가 있다.
- 동일 입력·동일 설정·반복 실행으로 경쟁 모델을 비교한다.
자주 묻는 질문
한국어를 지원하나요?
네. Microsoft Learn의 60개 언어 목록에 한국어 코드 ko가 포함됩니다. 다만 한국어 전용 WER은 공개되지 않았으므로 실제 음원으로 검증해야 합니다.
실시간 자막에 바로 쓸 수 있나요?
이번 공개 수치와 Artificial Analysis 결과는 주로 파일 기반 비스트리밍 처리입니다. 실시간 자막은 짧은 오디오 조각, 첫 부분 결과 지연, 결과 안정성, 네트워크 흔들림을 별도로 시험해야 합니다. Microsoft 문서는 Voice Live 입력 전사에도 모델을 설정할 수 있다고 설명하지만 같은 성능 수치를 보장하지는 않습니다.
화자 이름까지 자동으로 알 수 있나요?
화자 분리는 서로 다른 목소리를 번호로 나눌 뿐 사람의 실제 이름을 확인하는 신원 인증 기능은 아닙니다. 일정·참석자 정보와 연결하더라도 사람이 검증해야 합니다.
1시간을 정말 10초에 처리하나요?
Microsoft 모델 카드의 예시이자 제공사 측정값입니다. 독립 평가에서도 높은 처리 속도가 확인됐지만 파일 업로드와 대기 시간을 포함한 실제 지연은 리전과 부하에 따라 달라집니다.
가격은 계속 시간당 0.10달러인가요?
아닙니다. 발표 자료는 2026년 12월 31일까지의 한시 가격이라고 명시합니다. 이후 가격은 Azure의 최신 가격표에서 다시 확인하세요.
결론: 1위라는 문구보다 균형을 보자
MAI-Transcribe-2는 독립 AA-WER 2.0%로 정확도 2위, 410.7배 실시간 속도로 최상위권, 1,000분당 1.67달러라는 낮은 프로모션 비용을 동시에 기록했습니다. 이전 세대보다 언어 수가 43개에서 60개로 늘었고, 화자 분리와 단어별 타임스탬프까지 추가되어 회의·상담·자막 제작에 실질적인 변화가 있습니다.
반면 모든 지표에서 단독 1위는 아니며, 공개 자료만으로 한국어 현장 품질을 확정할 수 없습니다. 프리뷰와 한시 가격이라는 조건도 큽니다. 가장 안전한 도입 순서는 작은 한국어 데이터셋을 만들고, 동일 파일을 경쟁 모델과 세 번 이상 비교하고, 정확도·p95 지연·사람 수정 시간·최종 작업당 비용을 함께 계산한 뒤 제한적으로 확대하는 것입니다.
