A NVIDIA lançou o Nemotron 3.5 Transcribe, um modelo de pesos abertos que reúne transcrição de fala, tradução, identificação de falantes e respostas a perguntas sobre áudio em um único sistema. Desenvolvedores podem obtê-lo no Hugging Face e no ModelScope e usar comandos em linguagem natural para solicitar diferentes resultados a partir da mesma gravação, como uma transcrição com identificação dos falantes ou uma tradução para o inglês.
Segundo a publicação no Hugging Face, o modelo transcreve 40 idiomas, traduz 31 idiomas de ou para o inglês e identifica falantes em 13 idiomas, com capacidade para reconhecer até oito pessoas. Também oferece marcações de tempo por palavra. O recurso de perguntas e respostas sobre áudio foi treinado em inglês; a publicação menciona gravações de até uma hora, enquanto o SiliconANGLE afirma que o modelo consegue processar 100 horas de áudio e responder a perguntas sobre elas. Os dois relatos não esclarecem se estão se referindo a limites de entrada ou capacidades diferentes.
O que mostram os resultados dos benchmarks?
O Nemotron 3.5 é um modelo de mistura de especialistas com 30 bilhões de parâmetros, dos quais cerca de 4 bilhões ficam ativos por vez. A publicação da NVIDIA no Hugging Face informa que ele ocupa o primeiro lugar entre os modelos de pesos abertos na categoria de inglês do Hugging Face Open ASR Leaderboard, com uma taxa média de erro por palavra (WER) de 5,33%; quanto menor a WER, menos erros de transcrição. A publicação também informa WER média de 4,62% em sete idiomas e de 10,98% na categoria de conteúdo longo — os melhores resultados entre os modelos de pesos abertos na comparação.
A publicação também apresenta resultados de outras avaliações: 2,8% de AA-WER no ranking de conversão de fala em texto da Artificial Analysis, empatado em primeiro lugar entre os modelos de pesos abertos, e a menor taxa de erro de diarização no benchmark de 21 idiomas da David AI. A NVIDIA diz que o ajuste fino para fala médica reduziu a WER para 11,8% no benchmark de fala médica indiana da Eka Care. Esses números se referem a testes específicos e não garantem precisão em todas as gravações.
Como os desenvolvedores podem adaptá-lo?
A NVIDIA também lançou o Granary v2, um conjunto de dados multilíngue de fala de acesso aberto e um fluxo de curadoria de dados, além de ferramentas de ajuste fino. O material reúne 843.579 horas em 48 idiomas e 19 coleções de origem, ante cerca de 643.000 horas em 25 idiomas na versão anterior. Desenvolvedores podem usar os dados e as ferramentas para adaptar o modelo a vocabulários especializados, sotaques ou formatos de transcrição preferidos. Em um estudo de caso médico, a publicação no Hugging Face afirma que o ajuste fino reduziu a WER em 45,8% nas gravações de falantes que não foram incluídos no treinamento, em comparação com o melhor resultado obtido por comando.
O modelo funciona em uma única GPU NVIDIA, desde sistemas Jetson AGX Thor e DGX Spark para desktop até hardware de data center. A NVIDIA diz que uma GPU Blackwell Server Edition processou 100 horas de áudio em menos de três minutos com configurações de modelo comprimidas; a publicação no Hugging Face especifica que o teste usou trechos de 30 segundos com alta concorrência. A publicação informa que o modelo foi projetado para áudio gravado, não para transmissão ao vivo, e recomenda conferir nomes, mudanças de falante e respostas com base na gravação.
Por que importa
Desenvolvedores que criam ferramentas para reuniões, aulas ou ditado médico podem experimentar um único modelo para transcrição, identificação de falantes e tradução e, depois, ajustá-lo para termos especializados. Os resultados de benchmark divulgados não indicam o grau de precisão em uma gravação específica; por isso, é importante conferir nomes e respostas.
