Cerebras y las matemáticas del despliegue de billones de parámetros

Cerebras Systems publicó el 22 de octubre de 2026 un documento técnico detallado describiendo cómo distribuye modelos de inteligencia artificial con billones de parámetros entre múltiples chips de escala de oblea. El ejemplo de trabajo utiliza Kimi K3, un modelo de código abierto desarrollado por Moonshot AI con aproximadamente 3 billones de parámetros, mapeado en 59 obleas WSE-3T (Wafer Scale Engine Turbo).

La noticia ganó tracción porque pone en números concretos algo que el ecosistema de IA solo discutía en términos abstractos: cuánta infraestructura física es necesaria para servir modelos de escala frontier. Una sola oblea WSE-3T tiene 44 GB de SRAM on-chip. Los modelos con billones de parámetros necesitan terabytes — sí, terabytes — solo para almacenar sus pesos. Cerebras resuelve esto dividiendo el modelo entre docenas de obleas que trabajan en pipeline.

La arquitectura en detalle

Kimi K3 tiene 93 capas: 69 de atención lineal y 24 de atención densa. Cuando los 3 billones de parámetros se almacenan en cuantización de 4 bits, la carga bruta de pesos se sitúa en torno a 1,5 terabytes. Dividida entre las 93 capas, cada capa consume aproximadamente 16 GB.

La división de Cerebras sigue una lógica sencilla pero poderosa. Las capas de atención lineal mantienen un estado pequeño y fijo por solicitud, independientemente de la longitud del contexto, lo que deja espacio para dos capas lineales por oblea (2 × 16 GB = 32 GB). Así, las 69 capas lineales ocupan 35 obleas. Las 24 capas densas, que requieren mayor caché KV por solicitud, reciben una oblea cada una, totalizando 24 obleas. 35 + 24 = 59 obleas.

El aspecto más interesante es el pipeline de activaciones. Solo las activaciones — los resultados intermedios entre capas — cruzan de una oblea a la siguiente, a aproximadamente 2 microsegundos por salto. Los pesos del modelo nunca se mueven: permanecen incrustados en la SRAM de cada oblea. Esto elimina el cuello de botella de transferencia de pesos que es el limitador principal de los sistemas basados en GPU.

Para comparar, una GPU NVIDIA B300 tiene 1.248 GB de HBM. Incluso combinando docenas de GPU, la memoria distribuida requiere protocolos de sincronización y comunicación NVLink complejos. Cerebras mantiene todo el tráfico on-chip, con un ancho de banda de memoria drásticamente superior tanto al HBM como al interconect de GPU.

Rendimiento estimado y limitaciones

Cerebras estima que la disposición de 59 obleas puede entregar entre 1.000 y 2.000+ tokens por segundo para modelos multibillonarios. El propio documento técnico, sin embargo, no proporciona condiciones de benchmark completas, consumo de energía medido ni un conteo final de solicitudes simultáneas que la disposición soporte.

Esto no es necesariamente una crítica — es un documento de arquitectura, no un paper de benchmark. Pero vale la pena señalar: Daily Inference, que cubre el tema diariamente, señaló que Cerebras no ha establecido si la disposición Kimi K3 fue realmente ejecutada ni proporcionó resultados verificadas independientemente que conecten el ejemplo con la velocidad anunciada.

Como precedente, Cerebras previamente describió un pipeline multi-sistema similar para su servicio GPT-5.6 Sol, anunciando hasta 750 tokens de salida por segundo. Esto proporciona una base para el método, pero no es un benchmark para Kimi K3 en sí.

El contexto más amplio: Cerebras vs. NVIDIA

La publicación llega en un momento relevante. En agosto de 2026, Cerebras presentó el CS-4, con tres obleas WSE-3T entregando hasta 750 petaflops — hasta 30 veces más rápido que soluciones basadas en GPU para inferencia. El sistema CS-4 opera con 129,6 PB/s de ancho de banda de memoria y 160,5 PB/s de ancho de banda on-chip, frente a 260 TB/s de NVLink en un rack completo de 72 GPU NVIDIA.

La diferencia fundamental de enfoque es arquitectural. Los sistemas GPU requieren decenas de miles de líneas de código de sistemas distribuidos para hacer funcionar un cluster. La arquitectura wafer-scale de Cerebras escala en un único dispositivo lógico — sin código distribuido "pegamento" necesario. Para modelos de hasta 24 billones de parámetros, este enfoque elimina la complejidad de la gestión de memoria distribuida.

Qué observar

El Kimi K3 de Moonshot AI alcanza 88,3% en Terminal-Bench 2.1 (contra 88,8% del GPT-5.6 Sol) y 91,2% en BrowseComp (contra 90,4%). Son resultados de nivel frontier, y la capacidad de ejecutarlo eficientemente en hardware wafer-scale es la prueba real.

La métrica que la propia Cerebras dice que importa — throughput total de tokens por unidad de energía (tokens/segundo/megavatio) — seguirá siendo el juicio definitivo. Porque hasta que resultados independientes demuestren tokens por vatio para Kimi K3 corriendo en 59 obleas, las matemáticas de Cerebras permanecen en el reino de lo teóricamente posible, no de lo probado en producción.

La pregunta es si, cuando los modelos de 10 o 50 billones de parámetros se convengan en la norma, la arquitectura wafer-scale será el camino viable, o si el costo en energía y hardware de docenas de obleas por modelo hará la inferencia frontier accesible solo para unos pocos.

Fuentes: Cerebras Systems, NeoTeo, Daily Inference

✓ Fuentes independientes cruzadas y verificadas antes de la publicación