Cerebras executa modelo de 3 trilhões de parâmetros em 59 wafers

Em 22 de outubro, a Cerebras publicou o primeiro documento técnico público detalhado sobre como funciona a inferência de modelos com mais de um trilion de parâmetros em seus chips wafer-scale. O artigo usa o Kimi K3, da Moonshot AI, como exemplo — um modelo aberto com aproximadamente 3 trilhões de parâmetros, 69 camadas de atenção linear e 24 camadas densas, distribuídas em 59 wafers do WSE-3T para gerar entre 1.000 e 2.000+ tokens por segundo.

A publicação é significativa não por ser teórica — a Cerebras já havia mencionado o Kimi K2.6 em maio, com desempenho de cerca de 1.000 tokens por segundo — mas por revelar detalhes concretos de engenharia que antes eram mantidos em sigilo. É o equivalente, no campo da infraestrutura de IA, ao primeiro paper público de um data center de treinamento distribuído: menos marketing, mais especificações que qualquer engenheiro pode analisar.

A arquitetura por dentro

O Kimi K3 tem 2,8 trilhões de parâmetros. Se cada parâmetro é armazenado em 4 bits (quantização int4), o payload bruto dos pesos ocupa cerca de 1,4 terabytes. Cada wafer WSE-3T possui 44 gigabytes de SRAM on-chip — suficiente para camadas individuais, mas longe do necessário para o modelo inteiro.

A solução da Cerebras envolve pipeline parallelism. As 93 camadas do modelo são mapeadas para regiões de wafers separados. As 69 camadas de atenção linear (linear attention) requerem 35 wafers, e as 24 camadas densas (dense layers) precisam de 24 wafers — totalizando 59. Cada wafer executa sua fatia da rede e envia apenas as ativações intermediárias para o wafer seguinte, utilizando RDMA sobre Ethernet com latência de aproximadamente 2 microssegundos por hop.

O que diferencia a abordagem da Cerebras do uso convencional de GPUs é fundamental: os pesos nunca saem da SRAM on-chip. Em GPUs com HBM (High Bandwidth Memory), a geração de tokens é limitada pela largura de banda entre o chip e a memória externa. Na WSE-3T, a largura de banda interna atinge 43,2 petabytes por segundo por rack CS-4 (três wafers), eliminando esse gargalo de forma estrutural.

Consumo energético: o outro lado da moeda

Cada wafer WSE-3T consome cerca de 20 quilowatts. Com 59 wafers em operação, o consumo total chega a aproximadamente 1,18 megawatt — o equivalente a uma pequena usina hidrelétrica. Para gerar cerca de 1.500 tokens por segundo com 190 solicitações concorrentes, a Cerebras estima consumo de 4,1 joules por token. A empresa considera esse valor "razoável" para um modelo dessa magnitude, mas ele revela a verdade nua e crua do custo de escala: modelos desse tamanho são, literalmente, usinas elétricas.

A comparação com GPU é reveladora. Na configuração multi-GPU típica (por exemplo, 8× AMD Instinct MI355X com 288 GiB de HBM3E cada), a inferência do Kimi K3 é viável mas limitada pela troca constante de pesos entre GPUs via interconnect. A Cerebras, por outro lado, mantém tudo on-chip — e paga o preço em quilowatts por wafer.

O mercado que se forma em torno da wafer-scale

A publicação técnica não vem isolada. Nas duas semanas anteriores, dois ecossistemas distintos já haviam anunciado integração com Cerebras:

Gimlet Cloud anunciou, em 28 de setembro, uma parceria com a Cerebras para oferecer inferência disagregada em até 3.000 tokens por segundo. O data center inicial está previsto para o final de 2026, com capacidade de 100 megawatts — posição que a Futurum Group situa atrás apenas da OpenAI na fila de capacidade Cerebras. A expectativa de acesso ao CS-4 (geração seguinte) é para 2027.

General Compute fechou acordo multiAno no dia seguinte, com financiamento de 400 milhões de dólares em dívida pelo Upper90 para montar infraestrutura dedicada à inferência de coding agentic, com disponibilidade planejada para o primeiro trimestre de 2027.

Ambos os casos seguem o mesmo padrão de disaggregation: o prefill (processamento computacionalmente intensivo do prompt) roda em GPUs convencionais, enquanto o decode (geração de tokens) migra para os wafers Cerebras, cujo SRAM move dados mais rápido que qualquer HBM do mercado. A desvantagem é que a infraestrutura wafer-scale não existe em clouds públicas — só em nichos de players especializados como Gimlet Labs e General Compute.

O que observamos

A publicação da Cerebras confirma uma tendência cada vez mais clara: a inferência de modelos de fronteira está se separando da infraestrutura de treinamento. Enquanto NVIDIA, AMD e Google continuam investindo bilhões em chips orientados a treinamento distribuído (que são, afinal, o gargalo mais caro do ecossistema), a inferência em escala está desenvolvendo arquiteturas próprias — especializadas, energeticamente intensivas, e cada vez mais focadas em latência como métrica de performance.

A pergunta que fica é se esse modelo de inferência wafer-scale se generaliza ou se permanece como solução de nicho para os poucos jogadores com capacidade de aquisição de hardware. O CS-4, disponível em 2027, promete dobrar a largura de banda do CS-3. Mas a pergunta mais importante talvez seja outra: à medida que os modelos crescem de 3 para 10 trilhões de parâmetros, quantos megawatts cada data center de inferência precisará para sobreviver?

Fontes: Cerebras, The Intel Brief, Futurum Group

✓ Fontes independentes cruzadas e verificadas antes da publicação