NVIDIA lanzó Nemotron 3.5 Transcribe, un modelo de pesos abiertos que combina transcripción de voz, traducción, identificación de hablantes y respuestas a preguntas sobre audio en un solo sistema. Los desarrolladores pueden obtenerlo en Hugging Face y ModelScope, y usar instrucciones en lenguaje natural para pedir distintos resultados de una misma grabación, como una transcripción con hablantes identificados o una traducción al inglés.
La publicación de Hugging Face indica que el modelo transcribe 40 idiomas, traduce 31 idiomas al inglés o desde el inglés e identifica hablantes en 13 idiomas, con un máximo de ocho hablantes. También admite marcas de tiempo por palabra. La función de preguntas y respuestas sobre audio se entrenó en inglés, y la publicación describe grabaciones de hasta una hora; SiliconANGLE afirma que puede procesar 100 horas de audio y responder preguntas sobre ellas. Ninguna de las dos fuentes aclara si se refieren a distintos límites de entrada o capacidades.
¿Qué muestran los resultados de las pruebas comparativas?
Nemotron 3.5 es un modelo de mezcla de expertos con 30.000 millones de parámetros, de los cuales unos 4.000 millones están activos en cada momento. En su publicación de Hugging Face, NVIDIA informa que ocupa el primer puesto entre los modelos de pesos abiertos en la categoría de inglés de la clasificación Open ASR Leaderboard de Hugging Face, con una tasa media de error por palabra (WER) del 5,33 %; una WER menor significa menos errores de transcripción. La publicación también informa una WER media del 4,62 % en siete idiomas y del 10,98 % en la categoría de transcripciones largas, los mejores resultados entre los modelos de pesos abiertos incluidos en su comparación.
La publicación también presenta resultados de otras evaluaciones: un AA-WER del 2,8 % en la clasificación de conversión de voz a texto de Artificial Analysis, empatado en el primer puesto entre los modelos de pesos abiertos, y la tasa de error de diarización más baja en la prueba de referencia de 21 idiomas de David AI. NVIDIA afirma que el ajuste fino para voz médica redujo la WER al 11,8 % en la prueba de referencia de voz médica india de Eka Care. Estas cifras corresponden a pruebas concretas y no garantizan la precisión en todas las grabaciones.
¿Cómo pueden adaptarlo los desarrolladores?
NVIDIA también lanzó Granary v2, un conjunto de datos multilingüe de voz de acceso abierto y una canalización de selección de datos, junto con herramientas de ajuste fino. Abarca 843,579 horas en 48 idiomas y 19 colecciones de origen, frente a unas 643,000 horas en 25 idiomas de la versión anterior. Los desarrolladores pueden usar los datos y las herramientas para adaptar el modelo a vocabulario especializado, acentos o formatos de transcripción preferidos. En un caso práctico médico, la publicación de Hugging Face señala que el ajuste fino redujo la WER un 45,8 % en hablantes excluidos del entrenamiento, en comparación con el mejor resultado obtenido mediante instrucciones.
El modelo funciona en una sola GPU de NVIDIA, desde sistemas Jetson AGX Thor y DGX Spark de escritorio hasta hardware de centros de datos. NVIDIA afirma que una GPU Blackwell Server Edition procesó 100 horas de audio en menos de tres minutos con ajustes de modelo comprimido; la publicación de Hugging Face especifica que la prueba usó fragmentos de 30 segundos con alta concurrencia. La publicación indica que el modelo está diseñado para audio grabado, no para transmisión en directo, y recomienda verificar los nombres, los cambios de hablante y las respuestas con la grabación.
Por qué importa
Los desarrolladores que crean herramientas para reuniones, clases o dictado médico pueden probar un solo modelo para transcripciones, identificación de hablantes y traducción, y luego ajustarlo con términos especializados. Los resultados de las pruebas comparativas no permiten saber qué precisión tendrá con una grabación concreta, así que los usuarios deben verificar los nombres y las respuestas importantes.
