NVIDIA anunció este lunes 24 de agosto que el Groq 3 LPX, su acelerador de inferencia diseñado específicamente para sistemas autónomos de IA, ha entrado en producción a escala. Lanzado como complemento a la plataforma Vera Rubin NVL72, el chip marca la primera vez que una arquitectura dedicada de generación ultrarrápida de tokens se disponibiliza para uso comercial en centros de datos de gran tamaño.
A diferencia de lo que se observa en chips convencionales de IA, que intentan hacer todo con el mismo hardware, el Groq 3 LPX fue concebido para resolver un problema específico y crónico: la latencia de "decode". Cuando un agente de IA trabaja con ventanas de contexto enormes —de 100 mil tokens o más—, primero debe procesar y comprender esa masa de información (el "prefill") y luego generar su respuesta token por token (el "decode"). Tradicionalmente, las GPUs han gestionado ambas etapas. Pero mientras el prefill puede paralelizarse masivamente, el decode es inherentemente secuencial. Un solo token debe generarse antes de que el siguiente pueda comenzar. Este cuello de botella hace que los agentes se detengan en pausas visibles mientras procesan tareas complejas en cadena.
El Groq 3 LPX resuelve esto con una división de responsabilidades. Las GPUs Rubin procesan el contexto en masa; las LPUs (unidades de procesamiento de lenguaje, heredadas de la adquisición de Groq Inc. en diciembre de 2025) asumen la generación de tokens con latencia determinística. El resultado, según NVIDIA, es un sistema en el que un rack completo de 72 GPUs trabaja en tándem con hasta 256 aceleradores LP30, interconectados mediante NVLink de sexta generación. La separación no es solo teórica —los datos de benchmark son explícitos. En pruebas de Artificial Analysis, el Groq 3 LPX generó 3.400 tokens por segundo en el modelo abierto Gemma 4 31B con ventana de 100 mil tokens. Según la empresa, esto equivale a ser cuatro veces más responsivo que cualquier plataforma competidora, reduciendo tareas que antes tardaban horas a minutos.
Pero el lanzamiento va más allá de los números de benchmark. NVIDIA ya tiene clientes. Nebius, proveedor de nube enfocado en IA, fue el primero en adoptar el chip y pretende integrarlo en el Nebius Token Factory, su plataforma de inferencia en producción. Según el CTO de Nebius, Danila Shtan, la idea es garantizar que "cada paso del bucle de un agente parezca instantáneo". La propia Groq (la empresa cuyos chiplets dieron origen al LPU) también será adoptante, al igual que SpaceX, que anunció que usará el Vera CPU de la plataforma Vera Rubin para la orquestación de agentes en centros de datos terrestres y satélites orbitales.
Lo que vuelve esta arquitectura particularmente relevante es el cambio de paradigma en la industria. Durante años, el costo dominante en IA estuvo en el entrenamiento —entrenar un modelo de frontera exigía clusters de miles de GPUs corriendo durante meses. Ahora, con modelos cada vez más capaces, el cuello de botella se desplazó a la inferencia. Un agente exitoso no hace una sola pregunta; ejecuta cientos o miles de iteraciones de inferencia por tarea —leyendo archivos, llamando APIs, verificando resultados, reescribiendo código y invocando herramientas externas. Cada iteración genera tokens. Cada token cuesta infraestructura. Si la generación de tokens es lenta, el agente no solo es lento —es económicamente inviable.
Esto explica por qué NVIDIA está posicionando el Vera Rubin como una "fábrica de tokens" —una arquitectura donde computación, red y aceleración de inferencia están diseñadas como un sistema unificado, no como componentes apilados. El tejido de comunicación vía Spectrum-X Multiplane, por ejemplo, permite escalar clusters de hasta 512.000 GPUs en redes planas, sin las oscilaciones de latencia que afectan el rendimiento percibido por el usuario. El NVLink Fusion, a su vez, permite que CPUs personalizadas y DPUs se conecten directamente a los sistemas rack-scale de sexta generación.
La apuesta financiera es igualmente ambiciosa. Se estima que el ecosistema completo Vera Rubin —incluyendo Rubin GPUs, LPUs Groq 3, Vera CPUs, BlueField-4 DPUs, switches Spectrum-6 y software Scale-In— representa una inversión de aproximadamente 20.000 millones de dólares en infraestructura de centros de datos durante los próximos tres años. Ninguna otra plataforma de IA individual ya escaló en ese orden de magnitud.
Lo que queda claro es que la era de la inferencia interativa ya comenzó. El Groq 3 LPX no es solo otro chip —es la confirmación de que el mercado de IA está migrando del entrenamiento a la inferencia como el principal motor de inversión e innovación. La pregunta en el aire es: cuándo los agentes de IA logren realizar tareas complejas en minutos en lugar de horas, cuántos procesos empresariales seguirán siendo conducidos por humanos que podrían haber sido automatizados?
Fuentes: NVIDIA Newsroom, SiliconANGLE, NVIDIA Blog
✓ Fuentes independientes cruzadas y verificadas antes de la publicación
