엔비디아가 잡음, 울림, 음성 잘림, 압축 손상으로 흐려진 녹음을 복원하는 음성 AI 모델 ‘NemotronLabs RE-USE’를 공개했다. 매개변수는 960만 개다. 엔비디아는 URGENT 2025 평가에서 이 모델이 2억5000만 매개변수의 Sidon과 5억 매개변수의 UniPASE보다 여러 지표에서 높은 점수를 냈다고 밝혔다.
모델은 배경 소음과 잔향 외에도 오디오 클리핑, 대역폭 제한, 코덱 손상, 패킷 손실, 저품질 마이크에서 생기는 왜곡을 줄이도록 설계됐다. 입력은 8kHz부터 48kHz까지 지원하며, 영어·독일어·스페인어·프랑스어·중국어 음성으로 학습했다. 엔비디아는 상업적 이용이 가능하다고 안내하며, 모델은 Hugging Face에서 받을 수 있다.
평가에서 무엇이 나왔나
엔비디아가 공개한 URGENT 2025 비블라인드 평가 결과를 보면, 전체 세트의 PESQ 점수는 RE-USE가 2.57, UniPASE가 2.17이었다. STOI는 각각 0.78과 0.76이었다. 다만 모든 지표에서 앞선 것은 아니다. 전체 세트 UTMOS 점수는 RE-USE가 2.94, UniPASE가 2.96으로 조금 낮았다.
음성 인식 정확도를 나타내는 문자 정확도도 개선됐다. 엔비디아의 16kHz 평가에서 잡음이 섞인 음성의 점수는 76.54였고, RE-USE로 처리한 뒤에는 87.09였다. 44.1kHz 평가에서는 화자 유사도가 RE-USE 0.90, Resemble Enhance 0.57로 집계됐다. 이 수치는 엔비디아가 공개한 평가 결과이며, 제공된 자료에는 독립 기관의 검증 결과가 없다.
누가 어떻게 쓸 수 있나
RE-USE는 인터뷰나 팟캐스트 녹음의 음질 개선, 음성 인식 전처리, 음성 생성 모델을 학습할 데이터 정리에 활용할 수 있다. 여러 사람이 겹쳐 말할 때는 주요 화자를 남기고 다른 목소리를 억제하도록 학습됐다. 다만 화자를 하나씩 분리하거나 식별하는 기능은 없어, 그런 작업에는 별도 도구가 필요하다.
모델 구조는 합성곱 인코더·디코더와 30개 계층의 양방향 Mamba를 결합했다. Mamba는 음성처럼 순서가 긴 데이터를 처리하는 구조로, 입력 길이가 늘어날 때 계산량이 비교적 효율적으로 증가한다. 학습에는 약 2500시간의 합성 음성과 실내·마이크 환경을 흉내 내는 음향 자료가 쓰였다. 엔비디아가 안내한 추론 환경은 Linux와 Ampere GPU이며, A100에서 Triton 추론 서버를 사용하는 방식이다. 따라서 작은 모델 크기만으로 개인용 기기에서 바로 실행된다고 볼 수는 없다.
왜 중요한가
팟캐스터와 인터뷰 제작자는 녹음 잡음이나 울림을 줄이는 작업에 이 모델을 시험해볼 수 있고, 음성 인식 시스템을 만드는 연구자는 전처리 도구로 검토할 수 있다. 다만 제시된 성능은 엔비디아의 비블라인드 평가 결과이며, 필요한 GPU 환경과 화자 분리 기능의 부재 때문에 실제 작업에 맞는지는 별도 확인이 필요하다.
