Cerebras e a matemática dos trilhões de parâmetros

A Cerebras Systems publicou em 22 de outubro de 2026 um documento técnico detalhando como distribui modelos de inteligência artificial com trilhões de parâmetros através de múltiplos chips wafer-scale. O exemplo prático utiliza o Kimi K3, um modelo de código aberto desenvolvido pela Moonshot AI com aproximadamente 3 trilhões de parâmetros, mapeado em 59 wafers WSE-3T (Wafer Scale Engine Turbo).

A notícia ganhou tração porque coloca em números concretos algo que o ecossistema de IA só discutia em termos abstratos: quanta infraestrutura física é necessária para servir modelos de escala frontier. Um único wafer WSE-3T possui 44 GB de SRAM on-chip. Modelos com trilhões de parâmetros necessitam terabytes — sim, terabytes — só para armazenar seus pesos. A Cerebras resolve isso dividindo o modelo entre dezenas de wafers que trabalham em pipeline.

A arquitetura em detalhes

O Kimi K3 possui 93 camadas: 69 de atenção linear e 24 de atenção densa. Quando todos os 3 trilhões de parâmetros são armazenados em quantização de 4 bits, o payload bruto de pesos fica em torno de 1,5 terabyte. Dividido entre as 93 camadas, cada camada consome aproximadamente 16 GB.

A divisão da Cerebras segue uma lógica simples mas poderosa. As camadas de atenção linear mantêm um estado fixo pequeno por requisição, independentemente do comprimento do contexto, o que deixa espaço para duas camadas lineares por wafer (2 × 16 GB = 32 GB). Assim, as 69 camadas lineares ocupam 35 wafers. As 24 camadas densas, que exigem cache KV maior por requisição, recebem um wafer cada, totalizando 24 wafers. 35 + 24 = 59 wafers.

O aspecto mais interessante é o pipeline de ativações. Apenas as ativações — os resultados intermediários entre camadas — cruzam de um wafer para o próximo, a aproximadamente 2 microssegundos por salto. Os pesos do modelo nunca se movem: ficam embarcados na SRAM de cada wafer. Isso elimina o gargalo de transferência de pesos que é o principal limitador de sistemas baseados em GPUs.

Para comparação, uma GPU NVIDIA B300 tem 1.248 GB de HBM. Mesmo combinando dezenas de GPUs, a memória distribuída exige protocolos complexos de sincronização e comunicação via NVLink. A Cerebras mantém todo o tráfego on-chip, com largura de banda de memória drasticamente superior à HBM e ao interconect de GPU.

Performance estimada e limitações

A Cerebras estima que o arranjo de 59 wafers pode entregar entre 1.000 e 2.000+ tokens por segundo para modelos multitrilionários. O próprio documento técnico, no entanto, não fornece condições de benchmark completo, consumo de energia medido ou contagem final de requisições simultâneas que o layout suporta.

Isso não é necessariamente uma crítica — é um documento de arquitetura, não um paper de benchmark. Mas merece nota: a Daily Inference, que cobre o tema diariamente, apontou que a Cerebras não estabeleceu se o layout Kimi K3 foi efetivamente executado nem forneceu resultado independentemente verificado que ligue o exemplo à velocidade anunciada.

Como precedente, a Cerebras já descreveu pipeline semelhante para seu serviço GPT-5.6 Sol, anunciando até 750 tokens de saída por segundo. Isso oferece uma base para o método, mas não é um benchmark para o Kimi K3 em si.

O contexto mais amplo: Cerebras vs. NVIDIA

A publicação vem em um momento relevante. Em agosto de 2026, a Cerebras apresentou o CS-4, com três wafers WSE-3T entregando até 750 petaflops — até 30 vezes mais rápido que soluções baseadas em GPU para inferência. O sistema CS-4 opera com 129,6 PB/s de largura de banda de memória e 160,5 PB/s de largura de banda on-chip, contra 260 TB/s de NVLink em um rack completo de 72 GPUs NVIDIA.

A diferença fundamental de abordagem é arquitetural. Sistemas de GPU exigem dezenas de milhares de linhas de código de sistemas distribuídos para fazer um cluster funcionar. A arquitetura wafer-scale da Cerebras escala em um único dispositivo lógico — sem código distribuído de "cola". Para modelos de até 24 trilhões de parâmetros, a abordagem elimina a complexidade de gerenciamento de memória distribuída.

O que observar

O Kimi K3 da Moonshot AI alcança 88,3% no Terminal-Bench 2.1 (contra 88,8% do GPT-5.6 Sol) e 91,2% no BrowseComp (contra 90,4%). São resultados de frontier, e a capacidade de rodá-lo eficientemente em hardware wafer-scale é o teste real.

A métrica que a própria Cerebras diz que importa — throughput total de tokens por unidade de energia (tokens/segundo/megawatt) — ainda será o julgamento definitivo. Porque até que um resultado independente demonstre tokens por watt para o Kimi K3 rodando em 59 wafers, a matemática da Cerebras permanece no reino do que é teoricamente possível, não do que foi comprovado em produção.

A pergunta que fica: quando modelos de 10 ou 50 trilhões de parâmetros se tornarem a norma, será a arquitetura wafer-scale o caminho viável, ou o custo em energia e hardware de dezenas de wafers por modelo tornará a inferência frontier acessível apenas para poucos?

Fontes: Cerebras Systems, NeoTeo, Daily Inference

✓ Fontes independentes cruzadas e verificadas antes da publicação