Cerebras ejecuta modelo de 3 billones de parámetros en 59 wafers

El 22 de octubre, Cerebras publicó el primer documento técnico público detallado sobre cómo funciona la inferencia de modelos con más de un billón de parámetros en sus chips wafer-scale. El artículo usa el Kimi K3, de Moonshot AI, como ejemplo — un modelo abierto con aproximadamente 3 billones de parámetros, 69 capas de atención lineal y 24 capas densas, distribuidas en 59 wafers del WSE-3T para generar entre 1.000 y 2.000+ tokens por segundo.

La publicación es significativa no por ser teórica — Cerebras ya había mencionado el Kimi K2.6 en mayo, con rendimiento de alrededor de 1.000 tokens por segundo — sino por revelar detalles concretos de ingeniería que antes se mantenían en sigilo. Es el equivalente, en el campo de la infraestructura de IA, al primer paper público de un data center de entrenamiento distribuido: menos marketing, más especificaciones que cualquier ingeniero puede analizar.

La arquitectura por dentro

El Kimi K3 tiene 2,8 billones de parámetros. Si cada parámetro se almacena en 4 bits (cuantización int4), la carga bruta de los pesos ocupa alrededor de 1,4 terabytes. Cada wafer WSE-3T posee 44 gigabytes de SRAM on-chip — suficiente para capas individuales, pero lejos de lo necesario para el modelo entero.

La solución de Cerebras implica pipeline parallelism. Las 93 capas del modelo se mapean a regiones de wafers separados. Las 69 capas de atención lineal requieren 35 wafers, y las 24 capas densas necesitan 24 wafers — totalizando 59. Cada wafer ejecuta su porción de la red y envía solo las activaciones intermedias al wafer siguiente, utilizando RDMA sobre Ethernet con latencia de aproximadamente 2 microssegundos por salto.

Lo que diferencia el enfoque de Cerebras del uso convencional de GPUs es fundamental: los pesos nunca salen de la SRAM on-chip. En GPUs con HBM (High Bandwidth Memory), la generación de tokens está limitada por el ancho de banda entre el chip y la memoria externa. En la WSE-3T, el ancho de banda interno alcanza 43,2 petabytes por segundo por rack CS-4 (tres wafers), eliminando este cuello de botella de forma estructural.

Consumo energético: el otro lado de la moneda

Cada wafer WSE-3T consume alrededor de 20 kilovatios. Con 59 wafers en operación, el consumo total llega a aproximadamente 1,18 megavatios — equivalente a una pequeña planta hidreléctrica. Para generar alrededor de 1.500 tokens por segundo con 190 solicitudes concurrentes, Cerebras estima un consumo de 4,1 julios por token. La empresa considera este valor "razonable" para un modelo de esta magnitud, pero revela la verdad desnuda y cruda del costo de escala: los modelos de este tamaño son, literalmente, plantas eléctricas.

La comparación con GPU es reveladora. En la configuración multi-GPU típica (por ejemplo, 8× AMD Instinct MI355X con 288 GiB de HBM3E cada una), la inferencia del Kimi K3 es viable pero limitada por el intercambio constante de pesos entre GPUs vía interconexión. Cerebras, por otro lado, mantiene todo on-chip — y paga el precio en kilovatios por wafer.

El mercado que se forma alrededor del wafer-scale

La publicación técnica no llega aislada. En las dos semanas anteriores, dos ecosistemas distintos ya habían anunciado integración con Cerebras:

Gimlet Cloud anunció, el 28 de septiembre, una alianza con Cerebras para ofrecer inferencia disagregada en hasta 3.000 tokens por segundo. El data center inicial está previsto para finales de 2026, con capacidad de 100 megavatios — posición que Futurum Group sitúa detrás solo de OpenAI en la fila de capacidad Cerebras. La expectativa de acceso al CS-4 (siguiente generación) es para 2027.

General Compute cerró acuerdo multi-anio al día siguiente, con financiamiento de 400 millones de dólares en deuda del Upper90 para montar infraestructura dedicada a la inferencia de coding agentic, con disponibilidad planeada para el primer trimestre de 2027.

Ambos casos siguen el mismo patrón de disaggregation: el prefill (procesamiento computacionalmente intensivo del prompt) corre en GPUs convencionales, mientras que el decode (generación de tokens) migra a los wafers Cerebras, cuya SRAM mueve datos más rápido que cualquier HBM del mercado. La desventaja es que la infraestructura wafer-scale no existe en clouds públicas — solo en nichos de jugadores especializados como Gimlet Labs y General Compute.

Qué observar

La publicación de Cerebras confirma una tendencia cada vez más clara: la inferencia de modelos de frontera se está separando de la infraestructura de entrenamiento. Mientras NVIDIA, AMD y Google siguen invirtiendo billones en chips orientados a entrenamiento distribuido (que son, al fin, el cuello de botella más caro del ecosistema), la inferencia a escala está desarrollando arquitecturas propias — especializadas, energéticamente intensivas, y cada vez más enfocadas en la latencia como métrica de rendimiento.

La pregunta a observar es si este modelo de inferencia wafer-scale se generaliza o permanece como solución de nicho para los pocos jugadores con capacidad de adquisición de hardware. El CS-4, disponible en 2027, promete duplicar el ancho de banda del CS-3. Pero la pregunta más importante quizás sea otra: a medida que los modelos crezcan de 3 a 10 billones de parámetros, ¿cuantos megavatios necesitará cada data center de inferencia para sobrevivir?

Fuentes: Cerebras, The Intel Brief, Futurum Group

✓ Fuentes independientes cruzadas y verificadas antes de la publicación