A matemática que conecta dois modelos de IA
Quando você envia uma conversa longa para um modelo de inteligência artificial, o sistema gasta uma quantidade enorme de processamento apenas para ler o contexto inteiro antes de gerar a primeira palavra. Esse processo, chamado de prefill, é a fase mais cara da inferência — e é totalmente desperdiçado sempre que a mesma conversa é roteada para outro modelo do mesmo fabricante durante o fluxo. Imagine começar uma pergunta em um modelo pequeno e barato, e quando a questão fica complexa, o sistema transferir a conversa para um modelo maior. Até agora, o modelo grande tinha que reler tudo do zero, como se a conversa nunca tivesse acontecido. Foi exatamente o problema que um grupo de pesquisadores da Nvidia identificou e resolveu com uma solução surpreendentemente simples.
O paper, intitulado "Cross-Model KV Cache Transfer in LLM Families: A Closed-Form Linear Mapping for Prefill Reuse" e submetido ao arXiv em 4 de agosto de 2026 por Taekyung Heo, Rasoul Shafipour e colaboradores da Nvidia, mostra que é possível transferir o cache de atenção (o chamado KV cache) de um modelo para outro dentro da mesma família. Em vez de reler todo o contexto, o modelo receptor usa uma fórmula linear direta para "traduzir" as anotações internas do modelo original para o formato que ele entende. O resultado: até 25 vezes mais rápido que o reprocessamento completo, com retenção de 73% a 98% da precisão original em quatro dos seis pares testados.
Por que o cache se perde na troca de modelos
Para entender a inovação, é útil primeiro entender o que acontece durante o prefill. Todo modelo de linguagem gera, para cada token processado, um par de vetores: a chave (key) e o valor (value). Esses pares compõem o KV cache — essencialmente as anotações que o modelo tira enquanto lê seu prompt. Quando o prompt é enviado ao mesmo modelo novamente, essas anotações podem ser reutilizadas, e é exatamente por isso que provedores como Anthropic e OpenAI oferecem descontos de 90% sobre o custo de entrada para prompts em cache.
O problema é que essas anotações são moldadas pelos pesos específicos daquele modelo. Um modelo pequeno e um modelo grande, mesmo pertencendo à mesma família e treinados em dados similares, produzem anotações em espaços de representação diferentes. Quando uma conversa é roteada de um modelo para outro — prática cada vez mais comum em sistemas de produção que fazem cascading de custo e qualidade — o cache é descartado e o novo modelo precisa recomeçar.
Os autores da Nvidia observaram que essa premissa, que parecia inquestionável, está errada. Eles descobriram que existe uma relação linear real entre os KV caches de diferentes tamanhos dentro da mesma família de modelos.
A descoberta: estrutura linear nos caches cruzados
A equipe testou algo básico primeiro: existe alguma correlação entre as anotações de um modelo pequeno e as de um modelo maior? Usando Qwen3 14B e 32B, eles aplicaram uma simples regressão linear — o tipo mais básico de fórmula matemática — para mapear as keys de uma camada do modelo pequeno nas keys correspondentes do modelo grande. O resultado foi revelador: uma única camada do modelo pequeno já explicava 56% da variância nas keys e 32% nas values do modelo maior.
Esse não é um número trivial. Em problemas complexos de representação neural, prever mais da metade da variância de um modelo maior com uma fórmula linear simples de um modelo menor indica que os dois compartilham uma estrutura interna profunda. Não é ruído irrelevante — é sinal.
A análise foi estendida com seleção gulosa (greedy forward selection) de camadas: em vez de usar apenas uma camada fonte, a equipe iterativamente adicionava as camadas que mais aumentavam a precisão do mapeamento. Para o par Qwen3 14B → 32B, uma única camada capturava apenas 66% da precisão máxima possível para as keys (com todas as camadas), e 42% para as values. O maior ganho veio ao passar de uma para quatro camadas, e a precisão se estabilizava em torno de seis camadas.
O design do mapeador: três peças em engenharia
A partir dessa descoberta, os pesquisadores construíram o mapeador de cache cruzado em três componentes principais. O primeiro é a regressão de ridge (regressão linear com regularização) por camada e head de atenção. Cada camada-alvo recebe seu próprio mapeamento linear independente — não há parâmetros compartilhados entre heads diferentes nem entre keys e values. A regularização com lambda de 0.01 é usada em vez de mínimos quadrados puros para evitar problemas numéricos quando a dimensão dos features atinge dezenas de milhares.
O segundo componente é a seleção de camadas fonte por camada alvo. Cada camada do modelo receptor decide quais camadas do modelo fornecedor mais predizem sua representação, e concatena os KV caches dessas camadas como entrada. Essa é a maior contribuição individual entre os três componentes do mapeador — a ablação no paper mostra que reduzir de 8 para 1 camada fonte daria queda drástica no desempenho.
O terceiro componente é o mapeamento em espaço de conteúdo, que separa a rotação posicional (RoPE) do conteúdo semântico. O RoPE (Rotary Positional Encoding) aplica uma rotação dependente da posição às keys — o que faz com que a mesma palavra tenha um vetor diferente dependendo de sua posição na frase. Removendo essa rotação antes de ajustar o mapeamento, os pesos ficam válidos independentemente do comprimento do contexto. O modelo receptor reaplica sua própria rotação RoPE depois da transformação. Isso permite que o mesmo mapeamento seja usado para prompts de até 32 mil tokens sem recalibração.
Resultados práticos: o que funciona e o que não funciona
Os experimentos cobraram seis pares de modelos de três famílias (Qwen3, Llama 3.1, Ministral 3), todos com configuração de head combinada (matched-KV). Os resultados se dividiram em dois patamares claros.
No patamar superior, quatro pares mantiveram entre 73% e 98% da precisão do modelo alvo em cinco benchmarks: ARC-Challenge, HellaSwag, WinoGrande, MMLU e GSM8K, além de duas verificações adicionais. O caso mais notável foi o Qwen3 14B → 32B, que manteve 97,6% na ARC-Challenge, 96,3% na HellaSwag, 101% no WinoGrande, 97,6% no MMLU e 98,5% no GSM8K — números que, em alguns benchmarks, superaram ligeiramente a precisão do modelo alvo sozinho. A velocidade de conversão de cache pequeno para grande foi de 2,7 a 25 vezes mais rápida que o re-prefill. Na direção inversa, grande para pequeno, a aceleração foi de 3 a 7 vezes.
No patamar inferior, dois pares caíram significativamente: Ministral 3B → 14B com retenção de 44,2%, e Ministral 8B → 14B com 41,6%. A diferença crucial entre os grupos era que os dois pares ruins ambos visavam o mesmo modelo de 14B parças do Ministral 3, mas com um salto de escala significativamente maior que os pares bem-sucedidos. O paper não concluiu exatamente por que essa configuração específica falha, mas sugeriu que a concentração de erro em subespaços sensíveis à atenção pode ser o fator determinante — não a magnitude do erro, mas onde ele se coloca no espaço de representação.
Aqui entra uma descoberta interessante: quando os pesquisadores substituíram a regressão linear por um MLP (rede neural multicamadas) não linear, a retenção na HellaSwag saltou de 14,7% para 92,3% no par 3B→14B, e de 58,7% para 95,5% no par 8B→14B. O trade-off é direto: perde-se a propriedade de "zero treinamento", mas recupera-se a precisão. O MLP funciona redistribuindo o erro residual longe dos subespaços sensíveis à atenção, que são os mais críticos para a qualidade de geração.
Implicações para o ecossistema de IA
Esse trabalho toca em dois vetores simultâneos da indústria de IA. O primeiro é o custo crescente da inferência em sessões agênticas de longa duração. À medida que sistemas como LangMem, Mem0 e Zep evoluem para dar aos agentes capacidade de memória entre turnos, a quantidade de contexto acumulado aumenta — e com ela, o custo do prefill. O segundo é a orquestração multi-modelo, cada vez mais comum em produção: um modelo pequeno para tarefas simples, um grande para raciocínio complexo, e roteamento dinâmico entre eles.
O mapeador linear da Nvidia tem um custo de instalação único de 47 a 87 minutos em uma máquina com 8 GPUs H100, para cada par de modelos. O tamanho total do mapeador varia de 4 a 12 GB por par. Uma vez instalado, ele elimina completamente a necessidade de re-prefill em trocas de modelo — e funciona sem nenhuma etapa de treinamento neural, o que significa que qualquer equipe de engenharia pode aplicá-lo sem precisar de infraestrutura de treino.
O paper deixa claro o que ainda não foi testado: configurações de head não combinadas, outros domínios de texto (o conjunto de calibração usa apenas FineWeb-Edu, texto web educacional), arquiteturas não padronizadas (modelos que combinam camadas de atenção com espaços de estado, como os Nemotron mais recentes da própria Nvidia), e o fato de haver um vazamento mínimo de benchmark ao selecionar o parâmetro k ótimo. Mas o que já está validado é suficiente para mudar o cálculo de custo em sistemas de produção.
A pergunta que fica é se a capacidade de transferir conhecimento entre modelos dentro de uma mesma família vai se tornar um componente padrão do stack de inferência — e o que isso significa para a estratégia dos fabricantes que dependem da fragmentação de caches como vantagem competitiva.
Fontes: arXiv, Few-Shot Academy, AI Daily Post
✓ Fontes independentes cruzadas e verificadas antes da publicação
