Cinco modelos pequenos, uma equipe que vence um gigante

Na semana passada, o projeto Memdoor publicou um resultado que merece atenção séria no ecossistema de inteligência artificial: cinco instâncias do modelo Qwen3.8-27B, organizadas em um fluxo de trabalho multiagente, alcançaram uma média de 9,8 de 10 no LiveCodeBench Hard — superando o Claude Fable 5, modelo muito mais caro e com muito mais parâmetros, que marcou 8,0 no mesmo conjunto.

Não se trata de uma diferença estatística insignificante. 9,8 contra 8,0 é a diferença entre resolver 49 dos 50 problemas propostos e conseguir apenas 40. E o custo? Cada execução custou medianamente US$ 0,39. O Fable 5, rodado via API da Anthropic, custa significativamente mais por chamada.

A arquitetura: divisão do trabalho sem conversa

O que torna o Memdoor interessante não é o modelo em si — o Qwen3.8-27B já é competiciente para tarefas de codificação — mas a forma como os agentes se organizam. Cinco papéis distintos, nenhum compartilhando contexto de chat:

- Planner (planejador): lê o problema e escreve um `plan.md` - Ideator-A e Ideator-B (dois geradores de ideias, rodando em paralelo): cada um produz uma proposta de algoritmo em seu próprio arquivo - Solver (solucionador): lê ambas as propostas e escreve o `solution.py` - Manager (gerente): lê o output dos testes e decide se há necessidade de reparo - Repair worker (trabalhador de reparo): corrige o `solution.py` com base nas instruções do gerente

Cada agente entra "frio" — sem histórico de conversa anterior. Cada um lê apenas os arquivos específicos de sua tarefa. A comunicação acontece exclusivamente por arquivos escritos no disco. Não há contexto compartilhado, nem memória entre as etapas.

A arquitetura é uma reprodução fiel do harness GVS5H, publicado pelo pesquisador Lee em 2026. O Memdoor não inventou a abordagem — ele a implementou, testou e publicou os resultados de forma transparente, com cada chamada de API e cada resultado registrado no próprio repositório.

Os números

Os resultados são documentados no README do projeto, com dados brutos de cada execução:

| Passada | Memdoor (este workflow) | GVS5H (harness original) | Fable 5 (sozinho) | |---------|------------------------|-------------------------|-------------------| | 1 | 10/10 | 9 | 7 | | 2 | 10/10 | 10 | 8 | | 3 | 10/10 | 10 | 10 | | 4 | 10/10 | 9 | 8 | | 5 | 9/10 | 10 | 7 | | Média | 9,8 | 9,6 | 8,0 |

Cem problemas foram testados (dez problemas × cinco passadas). A equipe Memdoor resolveu 49 dos 50 problemas. O custo total para as 50 execuções com sucesso foi de US$ 35,79, consumindo 15,3 milhões de tokens de saída. Incluindo as 16 tentativas incompletas, o custo total subiu para US$ 38,77.

Uma execução mediana levou 40 minutos e custou US$ 0,39. Cada problema, portanto, sai a menos de quarto de dólar.

A questão da contaminação

Os próprios autores são transparentes sobre uma limitação crítica: os problemas do LiveCodeBench Hard datam de 29 de março a 6 de abril de 2025. O Qwen3.8-27B pode ter visto esses problemas durante o treinamento. A contaminação não pode ser descartada para nenhuma das colunas — nem a do Memdoor, nem a do Fable 5.

Isso não invalida o resultado, mas o situa corretamente: é um sinal, não uma prova definitiva de superioridade. O que o Memdoor demonstra com firmeza é que a arquitetura multiagente funciona — e que um harness bem desenhado pode extrair desempenho significativamente maior de modelos menores do que uma chamada única.

O que isso significa para o futuro do desenvolvimento

Há duas implicações práticas que valem a pena considerar.

A primeira é econômica. US$ 0,39 por problema de programação competitiva é um custo que qualquer ferramenta de coding agent baseada em API tem dificuldade de igualar. Se equipes de desenvolvimento puderem reproduzir parte desse desempenho para tarefas reais — e não apenas benchmarks sintéticos — o custo do desenvolvimento assistido por IA cai drasticamente.

A segunda é sobre a arquitetura de agentes autônomos. O Memdoor mostra que você não precisa de contexto compartilhado nem memória persistente para coordenar agentes. A comunicação por arquivos no disco é suficientemente robusta para tarefas de resolução de problemas complexas. Isso tem implicações diretas para segurança: agentes que se comunicam por arquivos são mais fáceis de auditar do que agentes que compartilham conversas, e é mais fácil isolar um agente comprometido quando cada um opera em seu próprio diretório com acesso mínimo a arquivos.

A comunidade de Hacker News já apontou um detalhe interessante: com quantizações Bonsai 2, é possível rodar o Qwen 27B a 50 tokens por segundo em hardware de gaming razoável (16 GB VRAM, 32 GB RAM). Isso significa que a mesma performance que superou o Fable 5 poderia, em tese, rodar localmente em uma máquina acessível.

O futuro do desenvolvimento de software assistido por IA não depende necessariamente de modelos cada vez maiores. Depende de encontrar a arquitetura certa — e o Memdoor é um passo nessa direção.

Fontes: Emergent, AI Weekly, GitHub — Memdoor team-solve

✓ Fontes independentes cruzadas e verificadas antes da publicação