Cerebras abre el capó de los modelos de 3 billones de parámetros: cómo 59 wafers trabajan juntos

El 22 de octubre de 2026, Cerebras publicó un artículo técnico detallado revelando exactamente cómo empaca modelos de inteligencia artificial con aproximadamente 3 billones de parámetros en su hardware WSE-3T — y los números son escalofriantes. El modelo de referencia, Kimi K3 (desarrollado por Moonshot AI), alcanza 88,3% en el benchmark Terminal-Bench 2.1, quedando a menos de medio punto de GPT-5.6 Sol, pero funciona en 59 wafers de silicio separados, cada uno con 44 gigabytes de memoria SRAM integrada.

Lo que hace significativa esta publicación no es solo la escala, sino la transparencia. Cerebras nunca había revelado detalles tan específicos sobre el mapeo de capas, el cálculo de memoria y el flujo de activaciones entre chips. El artículo funciona como un manual de ingeniería para distribuir un modelo fronterizo a través de un cluster wafer-scale masivo, y sirve como termómetro para medir cuánto ha avanzado la infraestructura de inferencia desde los primeros días de las GPUs aisladas.

Las matemáticas detrás de 59 wafers

El Kimi K3 tiene 3 billones de parámetros distribuidos en 69 capas de atención lineal y 24 capas densas — una arquitectura híbrida que Cerebras eligió precisamente por ser representativa de las tendencias actuales de modelos de lenguaje. Para llevar este modelo a producción, el equipo de Cerebras asume tres condiciones técnicas: cuantización de pesos en 4 bits (siguiendo el estándar de Hugging Face para el Kimi K3), caché KV en 8 bits y un tamaño promedio de solicitud de 256 mil tokens.

Con estos parámetros, la carga bruta de pesos ocupa 1,5 terabytes — lo que equivale a aproximadamente 16 gigabytes por capa a lo largo de las 93 capas del modelo. La regla de asignación de Cerebras es directa: dos capas de atención lineal caben en cada wafer (usando cerca de 16 GB), mientras que cada capa densa recibe un wafer dedicado, dejando los 28 GB restantes para el caché KV.

El resultado aritmético es de 35 wafers para las capas de atención lineal más 24 para las capas densas, totalizando 59. No hay margen para ambigüedad — cada wafer ejecuta una parte específica del pipeline, y el runtime de Cerebras mapea el flujo de tokens entre los chips para que las activaciones pasen de un wafer al siguiente vía RDMA sobre Ethernet, con latencia de aproximadamente 2 microsegundos por salto.

Qué significa esto para el ecosistema de IA

La publicación técnica de Cerebras ocurre en un momento en que la disputa por capacidad de inferencia escala exponencialmente. Desde agosto, cuando presentó el CS-4 (con 750 PFLOPs de capacidad computacional, 129,6 terabytes por segundo de ancho de banda de memoria y latencia entre wafers reducida a 2 microsegundos), la empresa ha cerrado acuerdos estratégicos que señalan un cambio estructural en la forma en que los modelos masivos serán entregados a los usuarios finales.

En septiembre, General Compute firmó un acuerdo multianual para integrar Cerebras a su servicio neocloud, con enfoque específico en agentic coding — donde la velocidad se acumula en cascada, ya que los agentes de programación hacen llamadas de inferencia secuenciales. Poco después, Gimlet Labs añadió Cerebras al Gimlet Cloud, prometiendo hasta 3.000 tokens por segundo en inferencia ultrarrápida.

El patrón es claro: nadie quiere más esperar. La promesa inicial de las GPUs era que escalarían junto con los modelos. En la práctica, los modelos con billones de parámetros requieren terabytes solo para sus pesos, y la memoria on-chip de un solo GPU (o incluso datacenter) simplemente no sigue el ritmo. Cerebras resuelve esto apilando wafers — y, a partir de 2027, el CS-5 promete más de 5.000 tokens por segundo por usuario en modelos que exceden los 50 billones de parámetros.

La arquitectura como respuesta a la ley de Moore

Lo que Cerebras propone con el enfoque wafer-scale es, esencialmente, una respuesta al agotamiento de la escalabilidad tradicional de transistores. En lugar de esperar a que cada núcleo sea más pequeño y eficiente, la empresa fusiona todo en un único sustrato de silicio. Cada WSE-3T contiene 4 billones de transistores distribuidos en 900.000 núcleos de IA, entregando 250 PFLOPs y 43,2 terabytes por segundo de ancho de banda de memoria — números que un solo GPU, por más potente que sea, jamás alcanzará.

La arquitectura modular del CS-4 — con computación, energía y I/O escalables independientemente — señala que la próxima ola de innovación no vendrá de chips más pequeños, sino de sistemas más grandes y coordinados. Y el Kimi K3 funcionando en 59 wafers es la demostración práctica de que este enfoque ya funciona hoy, no solo en el papel de un whitepaper.

La pregunta es: cuando lleguen los modelos de 10 billones de parámetros, cuántos wafers serán necesarios — y si la red RDMA entre ellos todavía podrá mantener la latencia en niveles interactivos?

Fuentes: Cerebras, NeoTeo, Cerebras Investor Relations

✓ Fuentes independientes cruzadas y verificadas antes de la publicación