A Cisco publicou na quinta-feira (30) o AI Supply Chain Provenance Explorer, um banco de dados público e gratuito com quase 900 modelos de IA abertos. Cada entrada pode trazer a sede do provedor, um grafo de linhagem baseado em impressão digital, restrições de licença e a contagem de arquivos examinados. A conclusão mais incômoda do levantamento é direta: a linhagem de 69% dos modelos abertos analisados nunca foi verificada de forma independente — a origem declarada por muitos deles depende apenas de rótulos auto-atribuídos.
O problema que a ferramenta ataca é velho na indústria de software, mas novo no mundo de IA. Quando um modelo é ajustado, destilado, fundido ou reempacotado, a cadeia de derivação fica cada vez mais difícil de rastrear. Um projeto pode nascer de uma base legítima e, ao longo de dezenas de derivações, incorporar pesos ou dados de origem duvidosa sem que ninguém perceba. No universo tradicional de código aberto, esse problema é resolvido com verificações de integridade, assinaturas e histórico de commits; no universo de modelos, o peso do arquivo é um artefato que não conta sua própria história.
A abordagem da Cisco é técnica e elegante. Em vez de confiar no que cada modelo diz sobre si mesmo, o Model Provenance Kit gera uma "impressão digital" rica a partir de sinais como a similaridade de tokenizers, a geometria dos embeddings, as camadas de normalização e comparações diretas de pesos. Esses sinais são combinados em um escore de proveniência que indica se dois modelos compartilham uma origem ou linhagem de treinamento comum. É o mesmo raciocínio de um detetive que compara impressões digitais em vez de ouvir o que os suspeitos afirmam.
A implicação prática é enorme para quem adota modelos abertos em produção. Se uma empresa escolhe um modelo pensando que ele é "novo" e independente, mas na verdade é uma derivação não declarada de outro projeto, ela pode estar herdando riscos invisíveis — licenças incompatíveis, dados problemáticos ou até pesos contaminados por uma cadeia que ninguém auditou. O fato de a Cisco ter encontrado 69% de linhagens não verificadas sugere que boa parte do ecossistema de modelos abertos funciona numa zona de confiança implícita.
A pergunta que fica é o que acontece quando a confiança implícita deixa de ser aceitável. Ferramentas de proveniência como essa podem se tornar o equivalente da verificação de dependências vulneráveis que hoje é rotina em pipelines de software — mas o mercado ainda está aprendendo a cobrar esse nível de rigor de um modelo de IA. A tendência aponta para um futuro em que a origem de um modelo será auditada com a mesma seriedade que se audita o código que roda em produção. A pergunta é se isso vai acontecer por proatividade ou depois de um escândalo.
A analogia com o software de código aberto ajuda a dimensionar o problema. Há duas décadas, projetos open source sofriam com dependências não auditadas, e a solução foi construir camadas inteiras de verificação — scanners de vulnerabilidades, assinaturas de pacotes e bancos de dados de SBOM, a lista de materiais de software. O universo dos modelos de IA está passando agora pela mesma transição, só que com um artefato muito mais opaco: um modelo é um conjunto de pesos, e não há um equivalente trivial de "assinatura" que prove sua origem. A ferramenta da Cisco é um dos primeiros esforços sérios para preencher esse vazio. Se ela se tornar padrão, pode transformar a forma como empresas avaliam riscos antes de adotar um modelo — e talvez até pressionar provedores a serem mais transparentes sobre as bases de onde seus modelos realmente derivam.
Fontes: VentureBeat, Cisco Blogs, Help Net Security, SecurityWeek
✓ Fontes independentes cruzadas e verificadas antes da publicação
