Abre uma porta, fecha uma janela

A indústria de inteligência artificial deu uma passo que, à primeira vista, pode parecer contra-intuitivo: as maiores empresas do setor estão concordando em facilitar o bloqueio de seu próprio acesso aos dados da web. OpenAI, Google, Microsoft e Anthropic anunciaram nesta semana que adotarão um "token de política" compartilhado — um sinal proposto pela Internet Engineering Task Force (IETF) — que permitirá que qualquer site publiquem, com uma única entrada no arquivo robots.txt, a recusa em ter seu conteúdo utilizado para treinar modelos de IA generativa.

O mecanismo é simples em aparência, mas profundo em implicações. Desde que a web existe, os crawlers seguem as instruções do robots.txt, aquele arquivo padrão criado em 1994 pelo então estudante Lou von der Embde como protocolo de exclusão. Nos últimos anos, esse protocolo evoluiu para regular não apenas indexação de buscas, mas a coleta em escala de conteúdo para treinar modelos que, ironicamente, muitas vezes usam a própria web para aprender — inclusive, o conteúdo de sites que explicitamente não querem ser lidos por máquinas.

Antes deste anúncio, a situação era um emaranhado de esforços fragmentados. Um editor que quisesse se proteger precisava adicionar uma entrada separada para cada provedor de IA: o bloqueio do Google não valia para a Anthropic, que não lia as diretivas da OpenAI, e assim por diante. Cada empresa usava um robô com identificação própria, e os sites tinham que gerenciar uma lista cada vez mais longa de restrições. A prática era funcional para quem tinha recursos técnicos dedicados e insuportável para publicações menores.

O novo padrão, que já foi submetido como proposta formal à IETF, resolve esse problema com uma abordagem de sinalização unificada: uma única linha no robots.txt instrui todos os crawlers participantes a parar de coletar conteúdo para treinos. A especificação proposta por Kevin Kelley, líder técnico de padrões da Anthropic, introduz um token que qualquer crawler compatível pode reconhecer — independentemente de qual empresa o opera.

O que isso significa na prática

Para publicações e criadores de conteúdo, a mudança é significativa. Hoje, existem dezenas de empresas coletando conteúdo da web para treinamento de IA, muitas delas sem transparência sobre suas práticas. O novo token cria um mecanismo técnico que transforma uma preferência declarativa em uma ação coordenada — em vez de cada site precisar negociar com dezenas de empresas, basta publicar o token uma vez.

A distinção mais interessante, no entanto, não está no bloqueio geral, mas na granularidade que a Microsoft introduziu no anúncio. Publicadores poderão usar o mesmo mecanismo para distinguir entre dois tipos de coleta: o treinamento de modelos (onde o conteúdo é absorvido pelo modelo e armazenado em seus pesos) e o grounding (onde um sistema usa uma cópia ao vivo de uma página para fundamentar uma resposta em tempo real, sem armazená-la para treinamento futuro). Essa separação é estratégica porque toca em dois tipos de risco distintos: questões de proveniência de dados e direitos autorais no primeiro caso, e problemas de precisão e atualização de informações no segundo.

A Meta, por sua vez, ainda não se comprometeu com a implementação, embora tenha expressado apoio ao conceito. A empresa já enfrentou uma ação judicial de publishers sobre o uso de conteúdo para treinamento de IA — o que torna sua postura de observação ainda mais curiosa. A posição atual da Meta foi alvo de debate intenso em outubro, quando atualizações controversas em seus termos de uso geraram preocupação sobre a capacidade da empresa de utilizar conteúdo de terceiros para treinar seus modelos.

O contexto legal

A iniciativa não surge no vácuo. Ela se conecta a um cenário regulatório cada vez mais complexo. Na Europa, o AI Act já estabelece transparências para modelos de IA de alto risco, incluindo regras sobre identificação de práticas de scraping. Nos Estados Unidos, questões de fair use continuam sendo debatidas nos tribunais, sem uma definição definitiva para o caso específico de treinamento de IA. O Reino Unido, por sua vez, abandonou uma proposta de opt-out obrigatório em março de 2026.

A especificação técnica, como proposta pela IETF, é deliberadamente neutra em termos legais — ela não resolve quem tem o direito legal de bloquear o que, nem decide se o scraping para treinamento é fair use. Em vez disso, oferece a camada técnica que permite que os provedores de IA respeitem as preferências dos editores sem precisar de um acordo individual. É o mesmo princípio que levou o padrão HTTPS a substituir a navegação não criptografada: a infraestrutura de suporte permite a adoção generalizada sem impor uma posição jurídica.

O que esperar

O anúncio levanta perguntas práticas importantes. A adoeração será universal? Menores startups de IA que não assinaram a declaração seguirão o protocolo? Como será feita a verificação do cumprimento? E, mais fundamentalmente, um token no robots.txt realmente basta para proteger uma obra, ou será que as empresas de IA vão continuar encontrando alternativas para obter dados que não estejam explicitamente disponíveis em páginas acessíveis aos crawlers?

A resposta mais honesta talvez seja que esta é uma peça do quebra-cabeça — não a peça final, mas o primeiro mecanismo amplamente aceito de que o setor precisa para alinhar interesses até agora completamente assimétricos. Em um mercado onde o conteúdo da web é o combustível principal da IA e, ao mesmo tempo, o recurso que os criadores mais desejam proteger, o token compartilhado pode ser o ponto de virada de uma nova fase nas relações entre publishers e provedores de IA.

Fontes: The Verge, SiliconANGLE, AI Governance Institute

✓ Fontes independentes cruzadas e verificadas antes da publicação