Em agosto de 2026, pesquisadores da Nvidia publicaram na arXiv um trabalho que pode alterar a economia dos sistemas de IA generativa em produção. O paper "Cross-Model KV Cache Transfer in LLM Families" — disponível sob o identificador 2608.03893 — mostra que é possível transferir o cache KV de um modelo de linguagem para outro da mesma família usando apenas mapeamento linear fechado, eliminando a necessidade de recalculares o prefill do zero. O resultado é um speedup de 2,7x a 25x em relação ao re-prefill tradicional, com retenção de precisão entre 73% e 98% na maioria dos pares de modelos testados.
Para entender por que isso importa, é preciso compreender o que é o cache KV. Em transformers, durante a fase de prefill — quando o modelo processa toda a entrada do usuário antes de começar a gerar — são calculadas e armazenadas as chaves (keys) e valores (values) de cada token processado. Essas estruturas são reutilizadas durante a geração token a token, evitando que o modelo precise reprocessar todo o contexto a cada novo token. O cache KV já é um componente conhecido de otimização de inference há anos, mas costuma ser tratado como restrito ao modelo específico que o gerou.
A inovação da Nvidia está em mostrar que o cache KV de um modelo pode ser convertido para o formato esperado por outro modelo da mesma família — digamos, de um Qwen3-0.6B para um Qwen3-1.7B — aplicando uma transformação linear por cabeçote de atenção (per-head). Cada cabeçote da atenção possui seu próprio mapeador linear de ridge regression que converte as keys e values do modelo fonte para o espaço do modelo destino. Não é necessário treinar nenhuma rede neural adicional: o mapeamento é calculado analyticamente a partir de um conjunto pequeno de dados de calibração. O modelo destino recebe o cache transformado e pode começar a decoder imediatamente, sem repassar o prefill pela rede.
O cenário típico em que essa técnica se aplica é o de deployments em cascata, onde diferentes tamanhos de modelo são escalonados conforme a complexidade da tarefa ou a disponibilidade de recursos. Um serviço pode rotear consultas simples para um modelo menor e transferir o cache quando a conversa evolui para um tópico que exige o modelo maior — sem a penalidade de recomputar todo o contexto. É o equivalente a fazer warm handoff em uma corrida de Fórmula 1, onde o piloto troca de carro sem parar. Na computação, o "carro" é o modelo e o "combustível" é o cache KV que já foi construído.
Os autores testaram a técnica em múltiplas famílias de modelos, incluindo pares entre modelos de diferentes tamanhos dentro da mesma arquitetura. Os resultados mais impressionantes aparecem em cenários de troca entre modelos muito diferentes — quando o source é significativamente menor que o target, onde o re-prefill seria mais custoso. Nessas condições, o speedup de até 25x reflete não apenas a economia de computação, mas também a redução de latência, que é crítica para aplicações interativas como agentes autônomos que alternam entre modelos especializados em tempo real.
A retenção de precisão varia conforme a distância entre os modelos. Pares de modelos com arquitecturas idênticas e tamanhos próximos mantêm acima de 90% da precisão original, enquanto transferências entre modelos de famílias distintas ou tamanhos muito diferentes caem para 73%. Ainda assim, 73% é consideravelmente melhor que 0% — o baseline de um re-prefill mal-sucedido que gera resposta alucinada. E em cenários práticos, o modelo pode sempre fazer fallback para o re-prefill completo quando a confiança na transferência for baixa.
Este trabalho se insere em um ecossistema mais amplo de otimização de inference que a Nvidia vem construindo desde 2026. Em março, a mesma empresa apresentou o KVTC (KV Cache Transform Coding), que comprime o cache em 20x sem alterar pesos. Em agosto, o NeMo Switchyard já roteava agentes entre modelos mid-task, e o Nemotron-Cascade 2 alcançava desempenho nível olímpico de matemática com apenas 3B de parâmetros ativos. A transferência cross-model de KV cache é a peça seguinte nessa linha: não compressão, não quantização, mas reutilização pura do estado já calculado.
O que isso significa para a indústria? Primeiro, a economia de custo. Prefill é a fase mais computacionalmente intensiva da inference — e frequentemente a mais cara em clusters de GPU. Se cada troca de modelo poupa 80% a 95% do custo de prefill, aplicações que rotacionam entre modelos (como agentic workflows com múltiplos LLMs) podem reduzir drasticamente suas faturas de inference. Segundo, a latência. Para aplicações interativas, reduzir o time-to-first-token de um modelo maior em até 25x é a diferença entre uma experiência fluida e uma experiência frustrante. Terceiro, a escalabilidade. Com menos necessidade de recompute, um cluster de GPU pode atender mais usuários simultâneos com a mesma infraestrutura.
Os limites da técnica também são importantes. Ela só funciona dentro de famílias de modelos — não há mapeamento linear entre, digamos, Qwen e Llama, pois a geometria dos espaços de embedding é fundamentalmente diferente. Além disso, o overhead do mapeamento linear em si precisa ser menor que o custo do re-prefill para que a técnica seja vantajosa — o que é verdade para modelos grandes (onde o prefill é dominado por operações matriciais pesadas), mas menos claro para modelos muito pequenos. E, talvez o ponto mais delicado: a precisão não é perfeita. Um mapeamento linear não captura todas as nuances do espaço latente de um transformer. Para tarefas que exigem alta fidelidade — tradução técnica, resolução de problemas matemáticos complexos — a perda de 10-27% na precisão pode ser inaceitável. O futuro da inference em produção não será definido por quem treina o modelo mais forte, mas por quem melhor gerencia o estado entre modelos — e esse trabalho mostra que a resposta está em matemática simples, não em redes complexas.
Fontes: VentureBeat, arXiv, Dev.to
✓ Fontes independentes cruzadas e verificadas antes da publicação
