Nvidia publicó este miércoles 28 de octubre Nemotron 3.5 Transcribe, un modelo de reconocimiento de voz abierto con 30 mil millones de parámetros (4,3 mil millones activos gracias a una arquitectura MoE híbrida de Mamba-Transformer) que transcribe audio en hasta 40 idiomas, traduce 31 idiomas para y desde el inglés e identifica hasta ocho hablantes diferentes en una única grabación. El modelo está disponible bajo la licencia OpenMDW-1.1, con pesos en Hugging Face y código de fine-tuning en el repositorio NeMo Speech.
Lo que destaca a Nemotron 3.5 Transcribe no es solo el número de idiomas — existen modelos más pequeños que ya cubren decenas de lenguas —, sino la combinación de capacidades que antes exigían tres o cuatro modelos separados: transcripción con marcado de hablantes (diarización), traducción, identificación de idioma, transcripción contextual y preguntas sobre audio, todo en un único checkpoint. Nvidia lo llama "transcripción inteligente", y el concepto tiene sentido cuando se observan los benchmarks.
En los tests del Open ASR Leaderboard de Hugging Face, el modelo alcanzó 4,71% de WER (Word Error Rate) en el promedio de los nueve conjuntos de prueba en inglés y 4,62% en el leaderboard multilingüe. Para contexto, el siguiente mejor modelo open-weight queda en 4,94% (Qwen3-ASR-1.7B), pero mientras Qwen opera con 1,7 mil millones de parámetros contra los 30 mil millones de Nvidia, el Transcribe también corre con 4,3 mil millones de parámetros activos — el mismo nivel del Qwen3. En el subconjunto multilingüe, la ventaja es aún más clara: 4,62% contra 6,49% del Qwen.
Pero el número que merece atención especial es el del audio de formato largo. En los conjuntos long-form del leaderboard, Transcribe alcanzó 10,98% de WER contra 13,37% del Parakeet-TDT-0.6B-v3. Transcribir una hora entera de reunión con múltiples hablantes y mantener esa precisión exige más que un buen modelo para audios cortos — exige memoria de contexto y capacidad para modelar cómo los hablantes cambian de tono a lo largo del tiempo. Transcribe acierta aquí porque inyecta directamente la actividad de los hablantes (vía el modelo de diarización congelado Nemotron 3 Diarization) en las representaciones del encoder, permitiendo que el LLM produzca una transcripción con marcado de quién dijo qué sin necesidad de un sistema cascada separado.
Nvidia también destacó la reducción de seis veces en los errores de entidades nominales en el ContextASR-Bench. Esto significa que, al proporcionar una lista de nombres o términos esperados en el prompt, el modelo reduce drásticamente errores como "Stefan" convirtiéndose en "Steven" o "NVIDIA" en "new di". En la práctica, esto es crucial para la transcripción médica (nombres de medicamentos, procedimientos) y jurídica (nombres de partes, términos técnicos) — dos mercados donde la precisión de entidades es tan importante como la transcripción en sí.
En términos de eficiencia, el modelo se sirve vía NIM de Nvidia y soporta decoding especulativo nativo vía Multi-Token Prediction (MTP). Con el checkpoint NVFP4 y el modelo draft DFlash2, el throughput llega a 2.238 segundos de audio procesado por segundo en una única GPU RTX PRO 6000 Blackwell Server Edition. Nvidia también proporciona pesos en BF16, FP8 y NVFP4, además de archivos GGUF para NeMo-Speech.cpp, lo que permite ejecución local en equipos de borde como el Jetson AGX Thor, el DGX Spark y, pronto, versiones cuantificadas para ejecución en GPUs RTX consumer.
Nvidia no está sola en esta carrera. El mes de octubre fue particularmente activo en el segmento de voice AI: Mistral envió el Voxtral 3 más temprano en el mes, ElevenLabs lanzó el Realtime para agentes de voz instantáneos, y Salesforce presentó el Launa-Omni. Pero la diferencia del Transcribe es que no intenta hacer todo — se enfoca en grabaciones, no en streams en vivo. Esa limitación es intencional: el modelo procesa grabaciones completas, lo que permite usar el contexto completo para mejor precisión, pero excluye la transcripción en tiempo real para llamadas y subtítulos en vivo, donde otros modelos tienen ventaja.
La pregunta es si la industria de voice AI se está fragmentando demasiado — modelos especializados para transcripción, diarización, traducción y QA de audio versus modelos omni que intentan abarcar todo. Transcribe muestra que, para casos de uso bien definidos (análisis post-llamada, transcripción médica, herramientas de reunión), el enfoque especializado aún gana en precisión. La pregunta no es qué modelo es más versátil, sino cuál es más útil para el problema específico que usted está resolviendo.
Fuentes: NVIDIA Research, TechCrunch, Hugging Face Blog
✓ Fuentes independientes cruzadas y verificadas antes de la publicación
