Un cambio coordinado entre las cuatro gigantes
En la última semana de octubre de 2026, un movimiento coordinado entre OpenAI, Google, Microsoft y Anthropic señaló lo que muchos analistas consideran el primer paso concreto hacia un entendimiento compartido: el modelo actual de scraping de datos para entrenamiento de modelos de lenguaje ha llegado a un punto de impasse estructural. Las cuatro empresas acordaron adoptar un estándar técnico unificado que permite a los propietarios de sitios web optar por evitar el uso de sus contenidos para el entrenamiento de IA mediante una única señal, en lugar de necesitar negociar configuraciones individuales con cada crawler.
El estándar propuesto, formalizado como un borrador IETF (draft-kelley-aipref-training-preference-signal) y redactado por Kevin Kelley, ingeniero de estándares de Anthropic, introduce un "token de política" llamado `__usage_ai-training` que puede insertarse en el tradicional archivo robots.txt de cualquier sitio. La sintaxis no requiere nuevas directivas — aprovecha la estructura existente del robots.txt, con un grupo cuyo User-Agent es el token de política. Cuando un crawler detecta esta señal, puede restringir el acceso a los recursos marcados como restringidos.
La implementación varía entre empresas. Anthropic ya ha comenzado a implementar la señal, según el mensaje de Kelley a la lista de discusión ai-control del IETF. Google y Microsoft planean soportarlo en 2027. OpenAI declaró que implementará la señal en los próximos meses. Microsoft prometió controles adicionales: los editores podrán optar por excluir el entrenamiento de IA, el grounding de IA, o ambos, manteniéndose en los resultados de búsqueda de Bing.
Por qué los crawlers necesitan un nuevo protocolo
El protocolo robots.txt, creado en 1994, era suficiente para controlar el acceso de buscadores convencionales — Googlebot, Bingbot y herramientas similares. Pero el ecosistema de crawlers de IA ha explotado en escala: se estima que hoy existen más de 300 crawlers dedicados a la recopilación de datos para entrenamiento de modelos, cada uno con su propio conjunto de políticas y estándares. El problema no es solo el volumen, sino la fragmentación.
Antes de este estándar unificado, un editor que quería bloquear crawlers de IA necesitaba agregar reglas separadas para cada crawler — GPTBot de OpenAI, CCBot de Google, BingBot de Microsoft, Claude-bot de Anthropic y decenas más. Esto generaba archivos robots.txt cada vez más pesados y confusos, con reglas que conflitan entre sí y que rápidamente se vuelven obsoletas a medida que surgen nuevos crawlers.
Además, los crawlers de IA tienen comportamientos radicalmente diferentes de los buscadores tradicionales. Mientras un Googlebot tradicional rastrea páginas para indexación — y la indexación puede hacerse con resúmenes y fragmentos — un crawler de IA puede necesitar recuperar y almacenar el contenido completo de cada página. Esta distinción fundamental hizo que la diferencia entre "permitir rastreo" y "permitir entrenamiento" fuera cada vez más urgente, pero el robots.txt tradicional no distinguía entre estos dos usos.
El token de política resuelve esto creando una capa semántica sobre el robots.txt: un sitio puede permitir que Google indexe sus artículos para su visualización en Search, declarando al mismo tiempo que su contenido no debe usarse para entrenar modelos de IA. Esta granularidad era imposible con el sistema antiguo.
El contexto regulatorio europeo
Europa ya avanzaba en esta dirección. Las Directrices 03/2026 del European Data Protection Board (EDPB), adoptadas en julio de 2026, establecen que las señales técnicas como robots.txt, CAPTCHAs y login walls deben considerarse indicadores relevantes de "expectativas razonables" de los titulares de datos. Esto significa que un sitio que usa el nuevo token de política tendrá respaldo regulatorio adicional para sustentar una reclamación de violación de privacidad bajo el GDPR.
El EDPB también rechaza explícitamente el consentimiento como base legal para el scraping a escala, considerando que los scrapeadores de datos a menudo no tienen relación directa con los titulares de los datos y no pueden identificar y obtener consentimiento de cada persona. Esto deja el interés legítimo como la vía legal principal — y el nuevo token de política fortalece la prueba de tres partes que el EDPB requiere para este fundamento.
Pero el estándar también enfrenta críticas. El Electronic Privacy Information Center (EPIC) publicó un estudio en mayo de 2026 que mostraba que las grandes compañías de IA frecuentemente dificultan el opt-out mediante patrones de diseño manipuladores — formularios ocultos, requisitos de inicio de sesión antes de acceder a la opción de exclusión, y requerimientos de múltiples formularios separados. La mera existencia de un estándar unificado no garantiza que será implementado correctamente.
El argumento económico
Desde una perspectiva económica, el estándar refleja un cambio en la dinámica de poder entre proveedores de infraestructura de IA y creadores de contenido. Durante años, la suposición dominante en la industria fue que la web pública es un bien común disponible para extracción. Pero a medida que la escasez de datos de alta calidad se convierte en un cuello de botella real para el entrenamiento de modelos, la capacidad de los editores de controlar el flujo de datos se está convirtiendo en un activo valioso.
La propia OpenAI reconoció implícitamente este punto al declarar que, con el nuevo estándar, "los editores pueden expresar sus preferencias de entrenamiento de IA de manera unificada, sin necesitar configurar cada plataforma individualmente". Este lenguaje reconoce explícitamente que el valor del control de datos está en los efectos de red — un estándar único solo funciona cuando las plataformas más grandes lo respetan.
Microsoft fue más lejos al ofrecer controles diferenciados: además del opt-out de entrenamiento, los editores podrán excluir el "grounding" (el uso de contenido como referencia para respuestas generadas por el modelo) mientras permanecen en los resultados de búsqueda. Esta distinción es económicamente relevante: el grounding es más intrusivo que la indexación simple, ya que el modelo almacena y hace referencia a fragmentos específicos del contenido, aumentando el riesgo de sustitución de tráfico del sitio original.
Lo que viene después
La implementación práctica de este estándar será la verdadera prueba. El robots.txt siempre ha sido un protocolo basado en buena voluntad — no existe ningún mecanismo técnico de enforcement. Un crawler simplemente necesita ignorar el archivo para violar las reglas. La diferencia ahora es que las cuatro compañías de IA más grandes del mundo se han comprometido públicamente a respetar la nueva señal, lo que aumenta las consecuencias reputacionales y las posibles consecuencias legales para quienes lo ignoren.
Pero la historia de los crawlers muestra que las compañías de IA frecuentemente modifican sus prácticas a medida que crecen sus necesidades de datos. Cuando OpenAI necesitaba más capacidad de entrenamiento, cuando Anthropic expandió sus conjuntos de datos, cuando Google necesitó más datos para el Gemini — cada expansión encontró justificaciones para sortear las restricciones existentes. El token de política es diferente porque es un estándar técnico abierto, no una política corporativa unilateral. Si sobrevive a la presión de escala, será un hito. Si no, será solo otro protocolo bienintencionado olvidado cuando la sed por datos se vuelva insoportable.
Fuentes: The Verge, IETF, Search Engine Roundtable
✓ Fuentes independientes cruzadas y verificadas antes de la publicación
