A Nvidia publicou nesta quarta-feira (28/10) o Nemotron 3.5 Transcribe, um modelo de reconhecimento de fala aberto com 30 bilhões de parâmetros (4,3 bilhões ativos, graças à arquitetura MoE híbrida de Mamba-Transformer) que transcreve áudio em até 40 idiomas, traduz 31 idiomas para e do inglês e identifica até oito falantes diferentes em uma única gravação de uma hora. O modelo está disponível sob a licença OpenMDW-1.1, com pesos no Hugging Face e código de fine-tuning no repositório NeMo Speech.
O que faz o Nemotron 3.5 Transcribe se destacar não é apenas o número de idiomas — há modelos menores que já cobrem dezenas de línguas —, mas sim a combinação de capacidades que antes exigiam três ou quatro modelos separados: transcrição com marcação de falantes (diarização), tradução, identificação de idioma, transcrição contextual e perguntas sobre áudio, tudo em um único checkpoint. A Nvidia chama isso de "transcrição inteligente", e o conceito faz sentido quando você observa os benchmarks.
Nos testes do Open ASR Leaderboard da Hugging Face, o modelo alcançou 4,71% de WER (Word Error Rate) na média dos nove conjuntos de teste em inglês e 4,62% no leaderboard multilingual. Para contexto, o próximo melhor modelo open-weight fica em 4,94% (Qwen3-ASR-1.7B), mas enquanto o Qwen opera em 1,7 bilhão de parâmetros contra os 30 bilhões da Nvidia, o Transcribe também roda em 4,3 bilhões de parâmetros ativos — o mesmo escalão do Qwen3. No subset multilingual, a vantagem é ainda mais clara: 4,62% contra 6,49% do Qwen.
Mas o número que merece atenção especial é o do formato de áudio longo. Nos conjuntos long-form do leaderboard, o Transcribe alcançou 10,98% de WER contra 13,37% do Parakeet-TDT-0.6B-v3. Transcrever uma hora inteira de reunião com múltiplos falantes e manter essa precisão exige mais que um modelo bom em curtos; exige memória de contexto e capacidade de modelar como os falantes mudam de tom ao longo do tempo. O Transcribe acerta aqui porque injeta diretamente a atividade dos falantes (via modelo de diarização congelado Nemotron 3 Diarization) nas representações do encoder, permitindo que o LLM produza uma transcrição com marcação de quem disse o quê sem precisar de um sistema cascata separado.
A Nvidia também destacou a redução de seis vezes nos erros de entidades nominais no ContextASR-Bench. Isso significa que, ao fornecer uma lista de nomes ou termos esperados no prompt, o modelo reduz drasticamente erros como "Stefan" virando "Steven" ou "NVIDIA" virando "new di". Na prática, isso é crucial para transcrição médica (nomes de medicamentos, procedimentos) e jurídica (nomes de partes, termos técnicos) — dois mercados onde a precisão de entidades é tão importante quanto a transcrição em si.
Em termos de eficiência, o modelo é servido via NIM da Nvidia e suporta decoding especulativo nativo via Multi-Token Prediction (MTP). Com o checkpoint NVFP4 e o draft model DFlash2, o throughput chega a 2.238 segundos de áudio processado por segundo em uma única GPU RTX PRO 6000 Blackwell Server Edition. A Nvidia também fornece pesos em BF16, FP8 e NVFP4, além de arquivos GGUF para NeMo-Speech.cpp, o que permite execução local em equipamentos de borda como o Jetson AGX Thor, o DGX Spark e, em breve, quantizações para execução em GPUs RTX consumer.
A Nvidia não está sozinha nessa corrida. O mês de outubro foi particularmente agitado no segmento de voice AI: a Mistral enviou o Voxtral 3 mais cedo no mês, a ElevenLabs lançou o Realtime para agentes de voz instantâneos, e a Salesforce apresentou o Launa-Omni. Mas a diferença do Transcribe é que ele não tenta fazer tudo — ele foca em gravações, não em streams ao vivo. Essa limitação é intencional: o modelo processa áudio gravado inteiro, o que permite usar o contexto completo para melhor precisão, mas exclui transcrição em tempo real para chamadas e legendas ao vivo, onde outros modelos têm vantagem.
A questão que fica é se a indústria de voice AI está se fragmentando demais — modelos especializados para transcrição, diarização, tradução e QA de áudio versus modelos omni que tentam abarcar tudo. O Transcribe mostra que, para casos de uso bem definidos (análise pós-chamada, transcrição médica, ferramentas de reunião), a abordagem especializada ainda ganha em precisão. A pergunta não é qual modelo é mais versátil, mas qual é mais útil para o problema específico que você está resolvendo.
Fontes: NVIDIA Research, TechCrunch, Hugging Face Blog
✓ Fontes independentes cruzadas e verificadas antes da publicação
