Um desenvolvedor independente acabou de fazer o que parecia fisicamente impossível: rodar o modelo de linguagem mais poderoso já disponível como código aberto — o DeepSeek-V4-Flash, com 284 bilhões de parâmetros — inteiramente na memória RAM de um computador comum, sem nenhuma placa de vídeo dedicada. O projeto chama-se llama-modchip, é open-source, e já está na versão 2.4.0 desde o final de outubro de 2026.
O resultado é chocante pelas cifras. Um modelo que tradicionalmente exigiria um cluster de múltiplas GPUs enterprise com 167 GB de VRAM (GDDR6X ou HBM) agora cabe em 56,56 GB no disco e usa entre 57,61 e 58,9 GB de RAM do sistema quando ativo, com janela de contexto de 256 mil tokens. Em um processador AMD Ryzen 9 (arquitetura Zen 5, 16 núcleos), o modelo gera entre 9,06 e 10,74 tokens por segundo em inferência pura por CPU, subindo para 14,7 t/s com speculative drafting. O processamento do prompt (prefill) chega a 44,36 t/s.
Mas o que realmente importa aqui não é o número isolado — é o que ele significa para a arquitetura do mercado de inteligência artificial. Até hoje, a corrida por modelos cada vez maiores parecia condenada a depender exclusivamente de hardware cada vez mais caro. O llama-modchip sugere que isso pode estar chegando ao fim.
O que é o llama-modchip
O projeto foi criado por um desenvolvedor conhecido apenas como "synchopate" e hospedado no GitHub sob licença Apache 2.0. Diferente de abordagens anteriores de quantização que tentam apenas comprimir pesos para caber em menos memória, o llama-modchip repensa três camadas simultaneamente: o formato de compressão, os kernels de execução na CPU e a hierarquia de cache do processador.
A técnica central combina duas inovações. Primeiro, uma compressão chamada SwiGLU-H2 ("Analytical Second-Order Hessian Compression") que aplica decomposição por valores singulares às projeções de atenção, preservando 99,82% da similaridade cossenal enquanto reduz o rank em 25%. Segundo, um formato de quantização personalizado batizado de "Fractal-64", que opera a 3,75 bits por peso e usa transcoding multi-head latent.
Juntas, essas técnicas reduzem o tamanho do arquivo do DeepSeek-V4-Flash de 76,87 GB para 56,56 GB — uma economia de 20,31 GB que é a diferença entre um crash por falta de memória e um sistema funcionando estávelmente.
A arquitetura de execução não é menos cuidadosa. Os kernels customizados fazem tiling de quatro níveis: registram AVX-512BW de 512 bits, cache L1 de 32 KB, cache L2 de 1 MB e cache L3 de 64 MB. Isso significa que os dados mais críticos ficam nos locais fisicamente mais próximos do núcleo de computação, onde a latência é menor e a largura de banda maior.
Há também um componente que chama atenção especial: um motor especulativo baseado no Stockfish-PVS (versão 2), originalmente criado para xadrez, que prevê os próximos tokens e aceita 96,4% das suas previsões. Isso explica o salto de 9-10 t/s para 14,7 t/s quando ativado.
Por que 64GB de RAM DDR5 mudou a história
Para entender a magnitude, é preciso comparar com o estado anterior. O DeepSeek-V4-Flash, lançado em 31 de julho de 2026, usa uma arquitetura MoE (Mixture of Experts) com 284 bilhões de parâmetros totais, dos quais apenas cerca de 13 bilhões são ativados por token. Os pesos brutos ocupam 167 GB — armazenados em FP4 para os especialistas e FP8 para o resto — o que significava, na prática, um requisito mínimo de quatro a oito GPUs de alto nível (H100, H200, B200) para rodar o modelo localmente.
O llama-modchip demonstra que a restrição principal não era a capacidade de computação da CPU — era a capacidade de memória. DDR5 em canais duplos ou quádruplos oferece largura de banda suficiente para throughput de 10 t/s, o que é perfeitamente utilizável para assistência de código interativa e workflows agênticos.
O projeto também suporta modelos menores. O Nemotron-3.5-30B-A3B da Nvidia, com 30,2 bilhões de parâmetros (3 bilhões ativados), cabe em 14,35 a 17,59 GB e roda a 25 a 111,62 t/s no mesmo hardware — velocidades que excedem a taxa de leitura humana e são suficientes para assistência em tempo real.
A questão da qualidade
Aqui está a ressalva honesta que qualquer análise responsável precisa fazer. Os números de velocidade foram reportados pelo próprio criador, e as tabelas de qualidade do repositório não constituem validação independente. O formatador Antonio Linares (@zencloud), conhecido por seu trabalho em bibliotecas de inferência, apontou que 56,56 GB para 284 bilhões de parâmetros equivale a aproximadamente 1,7 bit por peso — significativamente mais agressivo que as quantizações convencionais de 4 a 8 bits. A comparação de "lossless" do projeto usa como referência o próprio modelo requantizado, não o modelo original em FP8.
Jerry Liu, da TFM Lab (criador do Together AI), comentou que "a questão em 1,7 bits é qualidade: uma comparação de perplexity ou benchmark contra uma build de 8 bits mostraria qual é o custo da compressão". Até o momento, não há publicação independente que compare o DeepSeek-V4-Flash quantizado pelo llama-modchip contra a versão original em FP8/FP4.
Isso não torna o projeto inútil — torna-o um experimento ambicioso que precisa ser testado. Mas a comunidade de desenvolvedores já está rodando o llama-modchip em produção para tarefas específicas onde a perda marginal de qualidade vale a economia de hardware.
O que esperar nos próximos meses
Dois desenvolvimentos vão determinar o impacto real do llama-modchip. Primeiro, a adoção pelo ecossistema de ferramentas padrão. Os arquivos Fractal-64 usam um tipo tensor personalizado (GGML type 40) que não roda em llama.cpp, Ollama ou LM Studio sem modificação. Se a equipe upstream do llama.cpp integrar os kernels SwiGLU-H2, ferramentas que já existem em milhões de máquinas poderão carregar esses modelos sem necessidade de binários customizados.
Segundo, a trajetória dos preços do hardware. Um workstation com 64 GB de DDR5 e um processador Zen 5 custa significativamente menos que uma única GPU profissional. Se a inferência local de modelos frontier se tornar viável em commodity hardware, isso altera a economia de toda a cadeia de inferência em nuvem — incluindo os modelos de negócio da DeepSeek, Anthropic, OpenAI e outras que dependem de cobrança por token.
A pergunta que fica é se a democratização da inferência local vai acelerar a inovação em modelos open-weight ou se vai fragmentar o ecossistema em silos incompatíveis. O llama-modchip oferece os dois caminhos na mesma caixa de ferramentas.
Fontes: Tech Bytes, LavX News, GitHub - llama-modchip
✓ Fontes independentes cruzadas e verificadas antes da publicação
