Un desarrollador independiente acaba de lograr lo que parecía físicamente imposible: ejecutar el modelo de lenguaje más potente jamás publicado como código abierto—DeepSeek-V4-Flash, con 284 mil millones de parámetros—enteramente en la memoria RAM de un ordenador común, sin ninguna tarjeta gráfica dedicada. El proyecto se llama llama-modchip, es de código abierto, y ya está en la versión 2.4.0 desde finales de octubre de 2026.
Los resultados son impactantes por las cifras. Un modelo que tradicionalmente exigiría un cluster de múltiples GPUs empresariales con 167 GB de VRAM (GDDR6X o HBM) ahora cabe en 56,56 GB en disco y usa entre 57,61 y 58,9 GB de RAM del sistema cuando está activo, con ventana de contexto de 256 mil tokens. En un procesador AMD Ryzen 9 (arquitectura Zen 5, 16 núcleos), el modelo genera entre 9,06 y 10,74 tokens por segundo en inferencia pura por CPU, subiendo a 14,7 t/s con speculative drafting. El procesamiento del prompt (prefill) alcanza 44,36 t/s.
Pero lo que realmente importa aquí no es el número aislado—es lo que significa para la arquitectura del mercado de inteligencia artificial. Hasta hoy, la carrera por modelos cada vez más grandes parecía condenada a depender exclusivamente de hardware cada vez más caro. llama-modchip sugiere que esto puede estar llegando a su fin.
Qué es llama-modchip
El proyecto fue creado por un desarrollador conocido solo como "synchopate" y alojado en GitHub bajo la licencia Apache 2.0. A diferencia de los enfoques previos de cuantización que solo intentan comprimir pesos para caber en menos memoria, llama-modchip redefine tres capas simultáneamente: el formato de compresión, los kernels de ejecución en CPU y la jerarquía de caché del procesador.
La técnica central combina dos innovaciones. Primero, una compresión llamada SwiGLU-H2 ("Compresión Hessiana Analítica de Segundo Orden") que aplica descomposición por valores singulares a las proyecciones de atención, preservando el 99,82% de la similitud cosenal mientras reduce el rank en un 25%. Segundo, un formato de cuantización personalizado llamado "Fractal-64", que opera a 3,75 bits por peso y usa transcoding multi-head latent.
Juntas, estas técnicas reducen el tamaño del archivo del DeepSeek-V4-Flash de 76,87 GB a 56,56 GB—un ahorro de 20,31 GB que es la diferencia entre un crash por falta de memoria y un sistema funcionando estables.
La arquitectura de ejecución no es menos cuidadosa. Los kernels personalizados hacen tiling de cuatro niveles: registros AVX-512BW de 512 bits, caché L1 de 32 KB, caché L2 de 1 MB y caché L3 de 64 MB. Esto significa que los datos más críticos permanecen en los lugares físicamente más cercanos al núcleo de computación, donde la latencia es menor y el ancho de banda mayor.
También hay un componente que llama la atención especial: un motor especulativo basado en Stockfish-PVS (versión 2), originalmente creado para ajedrez, que predice los próximos tokens y acepta el 96,4% de sus predicciones. Esto explica el salto de 9-10 t/s a 14,7 t/s cuando se activa.
Por qué 64GB de RAM DDR5 cambió la historia
Para entender la magnitud, es preciso comparar con el estado anterior. DeepSeek-V4-Flash, lanzado el 31 de julio de 2026, usa una arquitectura MoE (Mixture of Experts) con 284 mil millones de parámetros totales, de los cuales solo unos 13 mil millones se activan por token. Los pesos brutos ocupan 167 GB—almacenados en FP4 para los expertos y FP8 para el resto—lo que significaba, en la práctica, un requisito mínimo de cuatro a ocho GPUs de alto nivel (H100, H200, B200) para ejecutar el modelo localmente.
llama-modchip demuestra que la restricción principal no era la capacidad de computación de la CPU—era la capacidad de memoria. DDR5 en canales duales o cuádruples ofrece suficiente ancho de banda para un throughput de 10 t/s, lo que es perfectamente utilizable para asistencia de código interactiva y flujos de trabajo agênticos.
El proyecto también soporta modelos más pequeños. Nemotron-3.5-30B-A3B de Nvidia, con 30,2 mil millones de parámetros (3 mil millones activados), cabe en 14,35 a 17,59 GB y corre a 25 a 111,62 t/s en el mismo hardware—velocidades que exceden la tasa de lectura humana y son suficientes para asistencia en tiempo real.
La cuestión de la calidad
Aquí está la reserva honesta que cualquier análisis responsable debe hacer. Los números de velocidad fueron reportados por el propio creador, y las tablas de calidad del repositorio no constituyen validación independiente. El formateador Antonio Linares (@zencloud), conocido por su trabajo en bibliotecas de inferencia, señaló que 56,56 GB para 284 mil millones de parámetros equivale a aproximadamente 1,7 bit por peso—significativamente más agresivo que las cuantizaciones convencionales de 4 a 8 bits. La comparación de "lossless" del proyecto usa como referencia el propio modelo requantizado, no el modelo original en FP8.
Jerry Liu, de TFM Lab (creador de Together AI), comentó que "la pregunta en 1,7 bits es la calidad: una comparación de perplexity o benchmark contra una build de 8 bits mostraría cuál es el costo de la compresión". Hasta el momento, no hay publicación independiente que compare el DeepSeek-V4-Flash cuantizado por llama-modchip contra la versión original en FP8/FP4.
Esto no hace el proyecto inútil—lo convierte en un experimento ambicioso que necesita ser probado. Pero la comunidad de desarrolladores ya está corriendo llama-modchip en producción para tareas específicas donde la pérdida marginal de calidad vale la pena la economía de hardware.
Qué esperar en los próximos meses
Dos desarrollos van a determinar el impacto real del llama-modchip. Primero, la adopción por el ecosistema de herramientas estándar. Los archivos Fractal-64 usan un tipo tensor personalizado (GGML type 40) que no corre en llama.cpp, Ollama o LM Studio sin modificación. Si el equipo upstream del llama.cpp integra los kernels SwiGLU-H2, herramientas que ya existen en millones de máquinas podrán cargar estos modelos sin necesidad de binarios personalizados.
Segundo, la trayectoria de los precios del hardware. Un workstation con 64 GB de DDR5 y un procesador Zen 5 cuesta significativamente menos que una sola GPU profesional. Si la inferencia local de modelos frontier se vuelve viable en hardware commodity, esto altera la economía de toda la cadena de inferencia—incluyendo los modelos de negocio de DeepSeek, Anthropic, OpenAI y otras que dependen del cobro por token.
La pregunta que queda es si la democratización de la inferencia local va a acelerar la innovación en modelos open-weight o si va a fragmentar el ecosistema en silos incompatibles. llama-modchip ofrece los dos caminos en la misma caja de herramientas.
Fuentes: Tech Bytes, LavX News, GitHub - llama-modchip
✓ Fuentes independientes cruzadas y verificadas antes de la publicación
