NVIDIA가 음성 받아쓰기, 번역, 화자 구분, 오디오 질문 답변을 하나로 결합한 오픈 웨이트 모델 Nemotron 3.5 Transcribe를 공개했다. 개발자는 Hugging Face와 ModelScope에서 모델을 이용할 수 있으며, 자연어 프롬프트로 같은 녹음에서 화자 구분이 포함된 녹취록이나 영어 번역 등 원하는 결과를 요청할 수 있다.
Hugging Face 게시물에 따르면 이 모델은 40개 언어를 받아쓰고, 영어와 다른 31개 언어 간 번역을 지원한다. 13개 언어에서는 화자를 구분하며 최대 8명까지 식별할 수 있다. 단어 단위 타임스탬프도 제공한다. 오디오 질문 답변 기능은 영어로 학습됐다. 게시물은 최대 1시간 분량의 녹음을 언급하지만, SiliconANGLE은 최대 100시간 오디오를 처리하고 질문에 답할 수 있다고 전했다. 두 매체는 입력 한도나 기능이 서로 다른 것을 뜻하는지 명확히 설명하지 않았다.
벤치마크 결과는 어떨까?
Nemotron 3.5는 매개변수 300억 개를 갖춘 혼합 전문가(MoE) 모델로, 한 번에 활성화되는 매개변수는 약 40억 개다. NVIDIA가 Hugging Face에 올린 게시물에 따르면, 이 모델은 Hugging Face Open ASR Leaderboard 영어 부문에서 오픈 웨이트 모델 가운데 1위를 기록했으며 평균 단어 오류율(WER)은 5.33%였다. WER이 낮을수록 받아쓰기 오류가 적다는 뜻이다. 게시물은 7개 언어에서 평균 WER 4.62%, 장문 음성 부문에서 10.98%를 기록해 비교 대상 오픈 웨이트 모델 중 가장 낮은 수치를 보였다고도 밝혔다.
게시물은 다른 평가 결과도 소개했다. Artificial Analysis 음성-텍스트 변환 리더보드에서 AA-WER 2.8%로 오픈 웨이트 모델 가운데 공동 1위를 기록했고, David AI의 21개 언어 벤치마크에서는 화자 분리 오류율이 가장 낮았다. NVIDIA는 의료 음성에 맞게 미세 조정한 결과, Eka Care 인도 의료 음성 벤치마크의 WER이 11.8%로 낮아졌다고 밝혔다. 이 수치는 특정 테스트 결과이며 모든 녹음에서 같은 정확도를 보장하지는 않는다.
개발자는 어떻게 모델을 조정할 수 있을까?
NVIDIA는 미세 조정 도구와 함께 Granary v2라는 오픈 다국어 음성 데이터셋 및 데이터 선별 파이프라인도 공개했다. 총 19개 출처의 48개 언어 음성 데이터 843,579시간 분량을 담았다. 이전 버전은 25개 언어, 약 643,000시간 분량이었다. 개발자는 데이터와 도구를 활용해 전문 용어, 억양, 선호하는 녹취록 형식에 맞게 모델을 조정할 수 있다. 의료 분야 사례 연구에서 Hugging Face 게시물은 학습에 포함되지 않은 화자의 WER이 최선의 프롬프트 사용 결과보다 미세 조정 후 45.8% 낮아졌다고 밝혔다.
이 모델은 Jetson AGX Thor와 데스크톱 DGX Spark부터 데이터센터 하드웨어까지 NVIDIA GPU 한 대에서 실행할 수 있다. NVIDIA는 압축된 모델 설정을 사용해 Blackwell Server Edition GPU 한 대로 100시간 분량의 오디오를 3분 이내에 처리했다고 밝혔다. Hugging Face 게시물은 이 테스트에서 동시 처리량을 높이고 30초 클립을 사용했다고 설명한다. 게시물에 따르면 이 모델은 녹음된 오디오용으로 설계됐으며 실시간 스트리밍은 지원하지 않는다. 또한 이름과 화자 변경, 답변은 녹음과 대조해 확인할 것을 권고한다.
왜 중요한가
회의, 수업, 의료 받아쓰기 도구를 개발하는 사람은 녹취록 작성과 화자 구분, 번역에 하나의 모델을 활용해 보고 전문 용어에 맞게 미세 조정할 수 있다. 공개된 벤치마크 결과만으로 특정 녹음에서의 정확도를 알 수는 없으므로, 중요한 이름과 답변은 사용자가 직접 확인해야 한다.
