Cerebras abre o capô dos modelos de 3 trilhões de parâmetros: como 59 wafers trabalham juntos

Em 22 de outubro de 2026, a Cerebras publicou um artigo técnico detalhado revelando exatamente como empacota modelos de inteligência artificial com cerca de 3 trilhões de parâmetros em seu hardware WSE-3T — e os números são surpreendentes. O modelo de referência, o Kimi K3 (desenvolvido pela Moonshot AI), alcança 88,3% no benchmark Terminal-Bench 2.1, ficando a menos de meio ponto da GPT-5.6 Sol, mas roda em 59 wafers de silício separados, cada um com 44 gigabytes de memória SRAM embarcada.

O que torna essa publicação importante não é apenas a escala, mas a transparência. A Cerebras nunca divulgou detalhes tão específicos sobre mapeamento de camadas, cálculo de memória e fluxo de ativações entre chips. O artigo funciona como um manual de engenharia de como distribuir um modelo de fronteira através de um cluster wafer-scale massivo, e serve como termômetro do quanto a infraestrutura de inferência avançou desde os primeiros dias de GPUs isoladas.

A matemática por trás de 59 wafers

O Kimi K3 possui 3 trilhões de parâmetros distribuídos em 69 camadas de atenção linear e 24 camadas densas — uma arquitetura híbrida que a Cerebras escolheu justamente por ser representativa das tendências atuais de modelos de linguagem. Para colocar esse modelo em produção, a equipe da Cerebras assume três condições técnicas: quantização de pesos em 4 bits (seguinte padrão do Hugging Face para o Kimi K3), cache KV em 8 bits e um tamanho médio de requisição de 256 mil tokens.

Com esses parâmetros, o payload cru de pesos ocupa 1,5 terabyte — o que dá aproximadamente 16 gigabytes por camada ao longo das 93 camadas do modelo. A regra de alocamento da Cerebras é direta: duas camadas de atenção linear cabem em cada wafer (usando cerca de 16 GB), enquanto cada camada densa recebe um wafer dedicado, deixando os 28 GB restantes para o cache KV.

O resultado aritmético é de 35 wafers para as camadas de atenção linear mais 24 para as camadas densas, totalizando 59. Não há margem para ambiguidade — cada wafer executa uma parte específica do pipeline, e o runtime da Cerebras mapeia o fluxo de tokens entre os chips para que as ativações passem de um wafer ao outro via RDMA sobre Ethernet, com latência de aproximadamente 2 microssegundos por salto.

O que isso significa para o ecossistema de IA

A publicação técnica da Cerebras acontece em um momento em que a disputa por capacidade de inferência escala exponencialmente. Desde agosto, quando apresentou o CS-4 (com 750 PFLOPs de capacidade computacional, 129,6 petabytes por segundo de largura de banda de memória e latência entre wafers reduzida para 2 microssegundos), a empresa tem fechado acordos estratégicos que sinalizam uma mudança estrutural na forma como modelos massivos serão entregues aos usuários finais.

Em setembro, a General Compute assinou um acordo multi-anual para integrar Cerebras ao seu serviço neocloud, com foco específico em agentic coding — onde a velocidade se acumula em cascata, pois agentes de programação fazem chamadas de inferência sequenciais. Pouco depois, a Gimlet Labs adicionou Cerebras ao Gimlet Cloud, prometendo até 3.000 tokens por segundo em inferência ultrarrápida.

O padrão é claro: ninguém quer mais esperar. A promessa inicial das GPUs era que escalariam junto com os modelos. Na prática, modelos com trilhões de parâmetros exigem terabytes apenas para seus pesos, e a memória on-chip de um único GPU consumer (ou mesmo datacenter) simplesmente não acompanha. A Cerebras resolve isso empilhando wafers — e, a partir de 2027, o CS-5 promete mais de 5.000 tokens por segundo por usuário em modelos que excedem 50 trilhões de parâmetros.

A arquitetura como resposta à lei de Moore

O que a Cerebras propõe com a abordagem wafer-scale é, essencialmente, uma resposta ao esgotamento da escalabilidade tradicional de transistores. Em vez de esperar que cada núcleo fique menor e mais eficiente, a empresa funde tudo em um único substrato de silício. Cada WSE-3T contém 4 trilhões de transistores distribuídos em 900.000 núcleos de IA, entregando 250 PFLOPs e 43,2 petabytes por segundo de largura de banda de memória — números que um único GPU, por mais potente que seja, nunca alcançará.

A arquitetura modular do CS-4 — com computação, energia e I/O escaláveis independentemente — sinaliza que a próxima onda de inovação não virá de chips menores, mas de sistemas maiores e mais coordenados. E o Kimi K3 rodando em 59 wafers é a demonstração prática de que essa abordagem já funciona hoje, não apenas no papel de um whitepaper.

A pergunta que fica é: quando os modelos de 10 trilhões de parâmetros chegarem, quantos wafers serão necessários — e será que a rede RDMA entre eles ainda conseguirá manter a latência em níveis interativos?

Fontes: Cerebras, NeoTeo, Cerebras Investor Relations

✓ Fontes independentes cruzadas e verificadas antes da publicação