A mudança de postura das quatro gigantes
Na última semana de outubro de 2026, um movimento coordenado entre OpenAI, Google, Microsoft e Anthropic sinalizou o que muitos analistas consideram o primeiro passo concreto de um entendimento compartilhado: o modelo atual de scraping de dados para treinamento de modelos de linguagem está chegando a um impasse estrutural. As quatro empresas concordaram em adotar um padrão técnico unificado que permite que proprietários de sites optem por impedir o uso de seus conteúdos para treinamento de IA por meio de um único sinal, em vez de precisar negociar configurações individuais com cada crawler.
O padrão proposto, formalizado como um rascunho IETF (draft-kelley-aipref-training-preference-signal) e redigido por Kevin Kelley, técnico de padrões da Anthropic, introduz um "token de política" chamado `__usage_ai-training` que pode ser inserido no tradicional arquivo robots.txt de qualquer site. A sintaxe não exige novas diretivas — aproveita a estrutura já existente do robots.txt, com um grupo cujo User-Agent é o token de política. Quando um crawler detecta esse sinal, ele pode restringir o acesso aos recursos marcados como restritos.
A implementação varia entre as empresas. A Anthropic já começou a implementar o sinal, segundo comunicado de Kelley à lista de discussão ai-control do IETF. O Google e a Microsoft planejam suportá-lo em 2027. A OpenAI declarou que implementará o sinal nos próximos meses. A Microsoft prometeu controles adicionais: publishers poderão optar por excluir treinamento de IA, grounding de IA, ou ambos, mantendo-se nos resultados de busca do Bing.
Por que os crawlers precisam de um novo protocolo
O protocolo robots.txt, criado em 1994, era suficiente para controlar o acesso de buscadores convencionais — Googlebot, Bingbot e similares. Mas o ecossistema de crawlers de IA explode em escala: estima-se que existem hoje mais de 300 crawlers dedicados à coleta de dados para treinamento de modelos, cada um com seu próprio conjunto de políticas e padrões. O problema não é apenas a quantidade, mas a fragmentação.
Antes desse padrão unificado, um editor que queria bloquear crawlers de IA precisava adicionar regras separadas para cada crawler — OpenAI's GPTBot, Google's CCBot, Microsoft's BingBot, Anthropic's Claude-bot e dezenas de outros. Isso gerava arquivos robots.txt cada vez mais pesados e confusos, com regras que conflitam entre si e que frequentemente se tornam obsoletas assim que um novo crawler emerge.
Além disso, os crawlers de IA têm comportamentos radicalmente diferentes dos buscadores tradicionais. Enquanto um Googlebot tradicional rastreia páginas para indexação — e indexação pode ser feita com resumos e trechos — um crawler de IA pode precisar acessar e armazenar o conteúdo completo de cada página. Essa diferença fundamental tornou a distinção entre "permitir rastreamento" e "permitir treinamento" cada vez mais urgente, mas o robots.txt tradicional não distinguia entre esses dois usos.
O token de política resolve isso criando uma camada semântica sobre o robots.txt: um site pode permitir que o Google indexe seus artigos para exibição no Search, mas ao mesmo tempo declarar que seu conteúdo não deve ser usado para treinar modelos de IA. Essa granularidade era impossível com o sistema antigo.
O contexto regulatório europeu
A Europa já estava caminhando nessa direção. As Diretrizes 03/2026 do European Data Protection Board (EDPB), adotadas em julho de 2026, estabelecem que sinais técnicos como robots.txt, CAPTCHAs e login walls devem ser considerados indicadores relevantes de "expectativas razoáveis" dos titulares de dados. Isso significa que um site que usa o novo token de política terá respaldo regulatório adicional para sustentar uma reclamação de violação de privacidade no âmbito do GDPR.
O EDPB também rejeita abertamente o consentimento como base legal para scraping em escala, considerando que operadores que raspam dados frequentemente não têm relação direta com os titulares dos dados e não conseguem identificar e obter consentimento de cada pessoa. Isso deixa o legítimo interesse como a principal via legal — e o novo token de política fortalece o teste de três partes que o EDPB exige para esse fundamento.
Mas o padrão também enfrenta críticas. O Electronic Privacy Information Center (EPIC) publicou um estudo em maio de 2026 mostrando que as grandes empresas de IA frequentemente dificultam o opt-out com mecanismos de design enganoso — formulários escondidos, exigência de login antes de acessar a opção de exclusão, e requisitos de múltiplos formulários separados. A própria existência de um padrão unificado não garante que ele será implementado corretamente.
O argumento econômico
Do ponto de vista econômico, o padrão reflete uma mudança na dinâmica de poder entre provedores de infraestrutura de IA e geradores de conteúdo. Durante anos, a premissa dominante no setor foi que a web pública é um bem comum disponível para extração. Mas à medida que a escassez de dados de alta qualidade se torna um gargalo real para o treinamento de modelos, a capacidade dos editores de controlar o fluxo de dados está se tornando um ativo valioso.
A própria OpenAI reconheceu implicitamente esse ponto quando declarou que, com o novo padrão, "os publishers podem expressar suas preferências de treinamento de IA de maneira unificada, sem precisar configurar cada plataforma individualmente". Essa linguagem reconhece explicitamente que o valor do controle de dados está no efeito de rede — um único padrão só funciona quando as maiores plataformas o respeitam.
A Microsoft foi mais longe ao oferecer controles diferenciados: além do opt-out de treinamento, publishers poderão excluir o "grounding" (o uso de conteúdo como referência para respostas geradas pelo modelo) enquanto permanecem nos resultados de busca. Essa distinção é economicamente relevante: grounding é mais intrusivo do que indexação simples, pois o modelo armazena e referencia trechos específicos do conteúdo, aumentando o risco de substituição de tráfego do site original.
O que vem a seguir
A implementação prática deste padrão será o verdadeiro teste. Robots.txt sempre foi um protocolo baseado em boa vontade — não há mecanismo técnico de enforcement. Um crawler simplesmente precisa ignorar o arquivo para violar as regras. A diferença agora é que as quatro maiores empresas de IA do mundo publicamente se comprometeram a respeitar o novo sinal, o que aumenta as consequências reputacionais e potenciais consequências legais para quem o ignora.
Mas a história dos crawlers mostra que empresas de IA frequentemente modificam suas práticas conforme sua necessidade de dados cresce. Quando o OpenAI exigiu mais capacidade de treinamento, quando a Anthropic expandiu seus conjuntos de dados, quando o Google precisou de mais dados para o Gemini — cada expansão encontrou justificativas para contornar restrições existentes. O token de política é diferente porque é um padrão técnico aberto, não uma política empresarial unilateral. Se ele sobreviver à pressão de escala, será um marco. Se não, será mais um protocolo bem-intencionado esquecido quando a sede por dados se tornar insuportável.
Fontes: The Verge, IETF, Search Engine Roundtable
✓ Fontes independentes cruzadas e verificadas antes da publicação
