Las matemáticas que conectan dos modelos de IA
Cuando envías una conversación larga a un modelo de inteligencia artificial, el sistema dedica una enorme cantidad de procesamiento solo para "leer" todo el contexto antes de generar la primera palabra. Este proceso, llamado prefill, es la fase más cara de la inferencia — y se desperdicia completamente cada vez que la misma conversación se enruta hacia otro modelo del mismo fabricante durante el flujo. Imagina empezar una pregunta en un modelo pequeño y barato, y cuando la cuestión se vuelve compleja, el sistema transfiere la conversación a uno más grande. Hasta ahora, el modelo grande tenía que releerlo todo desde cero, como si la conversación nunca hubiera ocurrido. Este es exactamente el problema que un grupo de investigadores de Nvidia identificó y resolvió con una solución sorprendentemente sencilla.
El artículo, titulado "Cross-Model KV Cache Transfer in LLM Families: A Closed-Form Linear Mapping for Prefill Reuse" y presentado en arXiv el 4 de agosto de 2026 por Taekyung Heo, Rasoul Shafipour y colegas de Nvidia, muestra que es posible transferir la memoria de atención (el llamado KV cache) de un modelo a otro dentro de la misma familia. En lugar de releer todo el contexto, el modelo receptor usa una fórmula lineal directa para "traducir" las anotaciones internas del modelo original al formato que él entiende. El resultado: hasta 25 veces más rápido que el reprocesamiento completo, con retención del 73% al 98% de la precisión original en cuatro de los seis pares probados.
Por qué se pierde la cache al cambiar de modelo
Para entender la innovación, es útil primero comprender qué ocurre durante el prefill. Todo modelo de lenguaje genera, para cada token procesado, un par de vectores: la clave (key) y el valor (value). Estos pares componen el KV cache — esencialmente las anotaciones que el modelo toma mientras lee tu prompt. Cuando el prompt se envía al mismo modelo nuevamente, estas anotaciones pueden reutilizarse, y es por eso que proveedores como Anthropic y OpenAI ofrecen descuentos del 90% sobre el costo de entrada para prompts en cache.
El problema es que estas anotaciones están moldeadas por los pesos específicos de ese modelo. Un modelo pequeño y un modelo grande, aunque pertenezcan a la misma familia y estén entrenados con datos similares, producen anotaciones en espacios de representación diferentes. Es como si dos personas de familias distintas tuvieran sistemas de anotaciones completamente incompatibles, aunque entiendan el mismo idioma. Cuando una conversación se enruta de un modelo a otro — práctica cada vez más común en sistemas de producción que realizan cascading de coste y calidad — la cache se descarta y el nuevo modelo necesita empezar de nuevo.
Los investigadores de Nvidia observaron que esta premisa, que parecía inquestionable, es incorrecta. Descubrieron que existe una relación lineal real entre los KV caches de diferentes tamaños dentro de la misma familia de modelos.
El descubrimiento: estructura lineal en los caches cruzados
El equipo primero probó algo básico: ¿hay alguna correlación entre las anotaciones de un modelo pequeño y las de uno mayor? Usando Qwen3 14B y 32B, aplicaron una regresión lineal simple — el tipo más básico de fórmula matemática — para mapear las keys de una capa del modelo pequeño en las keys correspondientes del modelo grande. El resultado fue revelador: una sola capa del modelo pequeño ya explicaba el 56% de la varianza en las keys y el 32% en los values del modelo mayor.
Este no es un número trivial. En problemas complejos de representación neural, predecir más de la mitad de la varianza de un modelo mayor con una fórmula lineal simple de un modelo menor indica que los dos comparten una estructura interna profunda. No es ruido irrelevante — es señal.
El análisis se amplió con selección codiciosa (greedy forward selection) de capas: en lugar de usar solo una capa fuente, el equipo añadió iterativamente las capas que más aumentaban la precisión del mapeo. Para el par Qwen3 14B → 32B, una sola capa capturaba solo el 66% de la precisión máxima posible para las keys (con todas las capas), y el 42% para los values. La mayor ganancia vino al pasar de una a cuatro capas, y la precisión se estabilizaba alrededor de seis capas.
El diseño del mapeador: tres piezas de ingeniería
A partir de este descubrimiento, los investigadores construyeron el mapeador de cache cruzado en tres componentes principales. El primero es la regresión de ridge (regresión lineal con regularización) por capa y head de atención. Cada capa objetivo recibe su propio mapeo lineal independiente — no hay parámetros compartidos entre heads diferentes ni entre keys y values. La regularización con lambda de 0.01 se usa en lugar de mínimos cuadrados puros para evitar problemas numéricos cuando la dimensión de features alcanza decenas de miles.
El segundo componente es la selección de capas fuente por capa objetivo. Cada capa del modelo receptor decide qué capas del modelo proveedor predicen mejor su representación, y concatena los KV caches de esas capas como entrada. Esta es la mayor contribución individual entre los tres componentes del mapeador — la ablación en el artículo muestra que reducir de 8 a 1 capa fuente causaría una caída drástica en el rendimiento.
El tercer componente es el mapeo en espacio de contenido, que separa la rotación posicional (RoPE) del contenido semántico. El RoPE (Rotary Positional Encoding) aplica una rotación dependiente de la posición a las keys — lo que hace que la misma palabra tenga un vector diferente dependiendo de su posición en la frase. Al eliminar esta rotación antes de ajustar el mapeo, los pesos quedan válidos independientemente de la longitud del contexto. El modelo receptor reaplica su propio RoPE después de la transformación. Esto permite que el mismo mapeo se use para prompts de hasta 32 mil tokens sin recalibración.
Resultados prácticos: qué funciona y qué no
Los experimentos cubrieron seis pares de modelos de tres familias (Qwen3, Llama 3.1, Ministral 3), todos con configuración de head combinada (matched-KV). Los resultados se dividieron en dos niveles claros.
En el nivel superior, cuatro pares mantuvieron entre el 73% y el 98% de la precisión del modelo objetivo en cinco benchmarks: ARC-Challenge, HellaSwag, WinoGrande, MMLU y GSM8K, más dos chequeos adicionales. El caso más notable fue el Qwen3 14B → 32B, que retuvo el 97,6% en ARC-Challenge, el 96,3% en HellaSwag, el 101% en WinoGrande, el 97,6% en MMLU y el 98,5% en GSM8K — números que, en algunos benchmarks, superaron ligeramente la precisión del modelo objetivo por sí solo. La velocidad de conversión de cache pequeño a grande fue de 2,7 a 25 veces más rápida que el re-prefill. En la dirección inversa, grande a pequeño, la aceleración fue de 3 a 7 veces.
En el nivel inferior, dos pares cayeron significativamente: Ministral 3B → 14B con retención del 44,2%, y Ministral 8B → 14B con el 41,6%. La diferencia crucial entre los grupos fue que ambos pares malos apuntaban al mismo modelo de 14B de la familia Ministral 3, pero con un salto de escala significativamente mayor que los pares exitosos. El artículo no concluyó exactamente por qué esta configuración específica falla, pero sugirió que la concentración de error en subespacios sensibles a la atención puede ser el factor determinante — no la magnitud del error, sino dónde se posiciona en el espacio de representación.
Aquí entra un hallazgo interesante: cuando los investigadores sustituyeron la regresión lineal por un MLP (perceptrón multicapa) no lineal, la retención en HellaSwag saltó del 14,7% al 92,3% en el par 3B→14B, y del 58,7% al 95,5% en el par 8B→14B. La compensación es directa: se pierde la propiedad de "cero entrenamiento", pero se recupera la precisión. El MLP funciona redistribuyendo el error residual lejos de los subespacios sensibles a la atención, que son los más críticos para la calidad de generación.
Implicaciones para el ecosistema de IA
Este trabajo toca dos vectores simultáneos de la industria de IA. El primero es el coste creciente de la inferencia en sesiones agénticas de larga duración. A medida que sistemas como LangMem, Mem0 y Zep evolucionan para dar a los agentes capacidad de memoria entre turnos, la cantidad de contexto acumulado aumenta — y con ello, el coste del prefill. El segundo es la orquestación multi-modelo, cada vez más común en producción: un modelo pequeño para tareas simples, uno grande para razonamiento complejo, y enrutamiento dinámico entre ellos.
El mapeador lineal de Nvidia tiene un coste de instalación único de 47 a 87 minutos en una máquina con 8 GPUs H100, por par de modelos. El tamaño total del mapeador varía de 4 a 12 GB por par. Una vez instalado, elimina completamente la necesidad de re-prefill en cambios de modelo — y funciona sin ninguna etapa de entrenamiento neural, lo que significa que cualquier equipo de ingeniería puede aplicarlo sin necesitar infraestructura de entrenamiento.
El artículo es claro sobre lo que aún no ha sido probado: configuraciones de head no combinadas, otros dominios de texto (el conjunto de calibración usa solo FineWeb-Edu, texto web educativo), arquitecturas no estándar (modelos que combinan capas de atención con espacios de estado, como los Nemotron más recientes de la propia Nvidia), y el hecho de que hay una filtración mínima de benchmark al seleccionar el parámetro k óptimo. Pero lo que ya está validado es suficiente para cambiar el cálculo de coste en sistemas de producción.
La pregunta que permanece es si la capacidad de transferir conocimiento entre modelos dentro de la misma familia se convertirá en un componente estándar del stack de inferencia — y qué significa eso para los fabricantes cuya estrategia depende de la fragmentación de caches como ventaja competitiva.
Fuentes: arXiv, Few-Shot Academy, AI Daily Post
✓ Fuentes independientes cruzadas y verificadas antes de la publicación
