← Home

DeepSeek V4 Flash roda em uma única AMD MI300X e agita o Hacker News

A corrida pela supremacia em inteligência artificial ganhou um novo capítulo silencioso, mas significativo, no fim de semana em que um time de engenheiros da Doubleword conseguiu rodar o modelo DeepSeek V4 Flash em uma única GPU AMD Instinct MI300X. A história virou manchete no Hacker News, onde o relato técnico detalhado ganhou dezenas de votos em poucas horas. Não é exagero chamar isso de marco: estamos falando de um modelo misto de especialistas (MoE) com 284 bilhões de parâmetros — ainda que com apenas cerca de 13 bilhões ativos por token — rodando inteiramente na memória de um único acelerador, sem precisar de um cluster distribuído.

O detalhe mais revelador do relato é que, até o início de maio, isso simplesmente não funcionava. A pilha padrão de inferência vLLM não carregava o V4 Flash no MI300X, e os engenheiros tiveram que enfrentar um pântano de incompatibilidades de software. O principal obstáculo era o dialeto FP8: o MI300X, baseado em CDNA 3, implementa uma variante E4M3 própria da AMD/Graphcore, enquanto o MI325X e placas mais novas seguem o padrão OCP. Um kernel que assume a semântica OCP no MI300X pode errar por um fator de dois no domínio de escala — o que, em tradução direta, significa resultados corrompidos. Faltavam também kernels de atenção otimizados, e o trabalho virou um diário de guerra contra bordas afiadas do ecossistema. Depois de vencer cada uma delas, a equipe relatou cerca de 2.699 tokens por segundo em inferência. que isso importa? Porque o MI300X foi desenhado exatamente para esse tipo de carga. São 192 GB de memória HBM3, 5,3 TB/s de largura de banda e 2,6 PFLOPS em FP8, tudo em um módulo OAM único. A inferência de modelos de linguagem é limitada pela largura de banda de memória, não por pura capacidade de computação. Quando um modelo cabe inteiro na memória de uma placa, os custos despencam: elimina-se a dependência de redes de alta velocidade entre GPUs, de escalonamento distribuído e de grandes reservas de VRAM conjunta. Essa é a promessa que sempre fez da AMD uma alternativa atraente à hegemonia da Nvidia — e que agora começa a se materializar fora dos slides de marketing.

A implicação mais ampla é a democratização do hardware. Se a inferência de modelos de fronteira passa a rodar em uma única placa acessível, o custo por token cai e a barreira de entrada para empresas menores — e até para desenvolvedores individuais — se reduz de forma dramática. Estruturalmente, isso também enfraquece o lock-in do ecossistema CUDA: quem roda o V4 Flash em uma MI300X mostra, na prática, que é possível escapar do monopólio de software da Nvidia sem sacrificar desempenho. O esforço da comunidade, incluindo os kernels escritos à mão do projeto AgntroAI que triplicaram o desempenho de decodificação single-stream de 20,7 para 58,9 tokens por segundo, é a prova viva de que o impulso agora vem de baixo.

Mas a pergunta que fica em aberto é incômoda e honesta: o software ainda é o gargalo. Cada triunfo desses é conquistado à custa de muito trabalho braçal contra a imaturidade do ROCm e a fragmentação dos dialetos FP8. A hipótese de que a AMD pode reescrever a economia da IA depende inteiramente de as grandes nuvens e provedores investirem pesado nessa pilha de software. Vale a pena para elas apostar em kernels otimizados para MI300X, ou o progresso continuará dependendo de entusiastas? A resposta definirá se este marco foi o começo de uma era ou apenas uma vitória heróica e isolada.

Fontes: Doubleword (Fergus Finn), SimpleNews, 1ban News

✓ Fontes independentes cruzadas e verificadas antes da publicação