NVIDIA har släppt Nemotron 3.5 Transcribe, en modell med öppna vikter som samlar taltranskribering, översättning, talarmärkning och frågor och svar om ljud i ett och samma system. Utvecklare kan hämta den från Hugging Face och ModelScope och använda instruktioner på naturligt språk för att begära olika resultat från samma inspelning, till exempel en transkribering med talarmärkning eller en översättning till engelska.
Enligt inlägget på Hugging Face transkriberar modellen 40 språk, översätter 31 språk till eller från engelska och märker upp talare på 13 språk, med stöd för att identifiera upp till åtta talare. Den stöder även tidsstämplar på ordnivå. Funktionen för frågor och svar om ljud har tränats på engelska. Inlägget beskriver inspelningar på upp till en timme, medan SiliconANGLE uppger att modellen kan bearbeta 100 timmars ljud och svara på frågor om det. De två beskrivningarna klargör inte om det handlar om olika gränser för indata eller olika funktioner.
Vad visar benchmarkresultaten?
Nemotron 3.5 är en mixture-of-experts-modell med 30 miljarder parametrar, varav cirka 4 miljarder är aktiva åt gången. I sitt inlägg på Hugging Face uppger NVIDIA att modellen ligger etta bland modeller med öppna vikter i den engelskspråkiga kategorin på Hugging Face Open ASR Leaderboard, med en genomsnittlig andel felaktiga ord (WER) på 5,33 procent. Lägre WER innebär färre transkriberingsfel. Inlägget redovisar också en genomsnittlig WER på 4,62 procent för sju språk och 10,98 procent i kategorin för långa inspelningar – de lägsta resultaten bland modeller med öppna vikter i jämförelsen.
Inlägget redovisar även resultat från andra utvärderingar: 2,8 procent AA-WER på Artificial Analysis lista över tal-till-text-modeller, delad förstaplats bland modeller med öppna vikter, samt den lägsta diariseringsfelfrekvensen på David AI:s benchmark för 21 språk. NVIDIA uppger att finjustering för medicinskt tal sänkte WER till 11,8 procent på Eka Cares benchmark för indiskt medicinskt tal. Siffrorna gäller specifika tester och garanterar inte samma träffsäkerhet för alla inspelningar.
Hur kan utvecklare anpassa modellen?
NVIDIA har också släppt Granary v2, en öppen flerspråkig taldatamängd och en pipeline för datakurering, tillsammans med verktyg för finjustering. Materialet omfattar 843 579 timmar på 48 språk från 19 källsamlingar, jämfört med cirka 643 000 timmar på 25 språk i den tidigare versionen. Utvecklare kan använda datan och verktygen för att anpassa modellen till facktermer, accenter eller önskade transkriptformat. I en medicinsk fallstudie uppger inlägget på Hugging Face att finjustering sänkte WER med 45,8 procent för talare som inte ingick i träningsunderlaget, jämfört med den bästa prompten.
Modellen kan köras på en enda NVIDIA-GPU, från systemen Jetson AGX Thor och desktop DGX Spark till datacenterhårdvara. NVIDIA uppger att en Blackwell Server Edition-GPU bearbetade 100 timmars ljud på mindre än tre minuter med komprimerade modellinställningar. I inlägget på Hugging Face anges att testet använde 30-sekundersklipp med hög samtidighet. Enligt inlägget är modellen utformad för inspelat ljud, inte direktsänd strömning, och NVIDIA rekommenderar att användare kontrollerar namn, talarbyten och svar mot inspelningen.
Varför det spelar roll
Utvecklare som bygger verktyg för möten, undervisning eller medicinsk diktering kan prova en och samma modell för transkribering, talarmärkning och översättning och sedan finjustera den för facktermer. Benchmarkresultaten visar inte hur träffsäker modellen är på en viss inspelning, så användare behöver fortfarande kontrollera viktiga namn och svar.
