Cinco modelos pequeños, un equipo que vence a un gigante
La semana pasada, el proyecto Memdoor publicó un resultado que merece atención seria en el ecosistema de inteligencia artificial: cinco instancias del modelo Qwen3.8-27B, organizadas en un flujo de trabajo multiagente, alcanzaron un puntaje promedio de 9,8 de 10 en LiveCodeBench Hard, superando a Claude Fable 5, un modelo mucho más caro y con muchos más parámetros, que marcó 8,0 en el mismo conjunto.
No se trata de una diferencia estadística insignificante. 9,8 contra 8,0 es la diferencia entre resolver 49 de los 50 problemas propuestos y conseguir apenas 40. ¿Y el costo? Cada ejecución promedió US$ 0,39. El Fable 5, ejecutado vía API de Anthropic, cuesta significativamente más por llamada.
La arquitectura: división del trabajo sin conversación
Lo que hace interesante al Memdoor no es el modelo en sí — Qwen3.8-27B ya es competente para tareas de programación — sino la forma en que los agentes se organizan. Cinco roles distintos, ninguno compartiendo contexto de chat:
- Planner (planificador): lee el problema y escribe un `plan.md` - Ideator-A e Ideator-B (dos generadores de ideas, corriendo en paralelo): cada uno produce una propuesta de algoritmo en su propio archivo - Solver (solucionador): lee ambas propuestas y escribe el `solution.py` - Manager (gerente): lee el output de las pruebas y decide si necesita reparación - Repair worker (trabajador de reparación): corrige el `solution.py` con base en las instrucciones del gerente
Cada agente entra "frío" — sin historial de conversación previo. Cada uno lee solo los archivos específicos de su tarea. La comunicación ocurre exclusivamente por archivos escritos en el disco. No hay contexto compartido, ni memoria entre las etapas.
La arquitectura es una reproducción fiel del harness GVS5H, publicado por el investigador Lee en 2026. Memdoor no inventó el enfoque — lo implementó, lo probó y publicó los resultados de forma transparente, con cada llamada de API y cada resultado registrado en el propio repositorio.
Los números
Los resultados están documentados en el README del proyecto, con datos crudos de cada ejecución:
| Pasada | Memdoor (este workflow) | GVS5H (harness original) | Fable 5 (solo) | |--------|------------------------|-------------------------|----------------| | 1 | 10/10 | 9 | 7 | | 2 | 10/10 | 10 | 8 | | 3 | 10/10 | 10 | 10 | | 4 | 10/10 | 9 | 8 | | 5 | 9/10 | 10 | 7 | | Promedio | 9,8 | 9,6 | 8,0 |
Cien problemas fueron probados (diez problemas × cinco pasadas). El equipo Memdoor resolvió 49 de los 50. El costo total para las 50 ejecuciones con éxito fue de US$ 35,79, consumiendo 15,3 millones de tokens de salida. Incluyendo las 16 intentos incompletos, el costo total subió a US$ 38,77.
Una ejecución mediana tomó 40 minutos y costó US$ 0,39. Cada problema, por tanto, sale a menos de 40 centavos de dólar.
La cuestión de la contaminación
Los propios autores son transparentes sobre una limitación crítica: los problemas del LiveCodeBench Hard datan de 29 de marzo a 6 de abril de 2025. El Qwen3.8-27B puede haber visto estos problemas durante el entrenamiento. La contaminación no puede ser descartada para ninguna de las columnas — ni la del Memdoor, ni la del Fable 5.
Esto no invalida el resultado, pero lo sitúa correctamente: es una señal, no una prueba definitiva de superioridad. Lo que Memdoor demuestra con firmeza es que la arquitectura multiagente funciona — y que un harness bien diseñado puede extraer rendimiento significativamente mayor de modelos más pequeños que una llamada única.
Qué significa esto para el futuro del desarrollo
Hay dos implicaciones prácticas que vale la pena considerar.
La primera es económica. US$ 0,39 por problema de programación competitiva es un costo que cualquier herramienta de coding agent basada en API tiene dificultad de igualar. Si los equipos de desarrollo pueden replicar parte de este rendimiento para tareas reales — y no solo benchmarks sintéticos — el costo del desarrollo asistido por IA cae drásticamente.
La segunda es sobre la arquitectura de agentes autónomos. El Memdoor muestra que no se necesita contexto compartido ni memoria persistente para coordinar agentes. La comunicación por archivos en el disco es suficientemente robusta para tareas de resolución de problemas complejas. Esto tiene implicaciones directas de seguridad: agentes que se comunican por archivos son más fáciles de auditar que los que comparten conversaciones, y es más fácil aislar un agente comprometido cuando cada uno opera en su propio directorio con acceso mínimo a archivos.
La comunidad de Hacker News ya señaló un detalle interesante: con cuantizaciones Bonsai 2, es posible correr el Qwen 27B a 50 tokens por segundo en hardware de gaming razonable (16 GB VRAM, 32 GB RAM). Esto significa que el mismo rendimiento que superó al Fable 5 podría, en teoría, correr localmente en una máquina accesible.
El futuro del desarrollo de software asistido por IA no depende necesariamente de modelos cada vez más grandes. Depende de encontrar la arquitectura correcta — y el Memdoor es un paso en esa dirección.
Fuentes: Emergent, AI Weekly, GitHub — Memdoor team-solve
✓ Fuentes independientes cruzadas y verificadas antes de la publicación
