Abrir una puerta, cerrar otra

La industria de inteligencia artificial ha dado un paso que, a primera vista, puede parecer contradictorio: las empresas más grandes del sector están acordando facilitar el bloqueo de su propio acceso a los datos de la web. OpenAI, Google, Microsoft y Anthropic anunciaron esta semana que adoptarán un "token de política" compartido —una señal propuesta por la Internet Engineering Task Force (IETF)— que permitirá que cualquier sitio web publique, con una sola entrada en su archivo robots.txt, la negativa a que su contenido sea utilizado para entrenar modelos de IA generativa.

El mecanismo es simple en apariencia pero profundo en implicaciones. Desde que existe la web, los crawlers siguen las instrucciones del robots.txt, ese archivo estándar creado en 1994 por el entonces estudiante Lou von der Embde como protocolo de exclusión. En los últimos años, este protocolo ha evolucionado para regular no solo la indexación de búsquedas, sino la recopilación a escala de contenido para entrenar modelos que, irónicamente, a menudo usan la propia web para aprender —incluso, el contenido de sitios que explícitamente no quieren que las máquinas los lean.

Antes de este anuncio, la situación era un lío de esfuerzos fragmentados. Un editor que quisiera protegerse necesitaba agregar una entrada separada para cada proveedor de IA: el bloqueo de Google no valía para Anthropic, que no leía las directivas de OpenAI, y así sucesivamente. Cada empresa usaba un robot con identificación propia, y los sitios tenían que gestionar una lista cada vez más larga de restricciones. La práctica era funcional para quienes tenían recursos técnicos dedicados e insostenible para publicaciones menores.

El nuevo estándar, que ya se ha presentado como propuesta formal a la IETF, resuelve este problema con un enfoque de señalización unificada: una sola línea en el robots.txt instruye a todos los crawlers participantes a dejar de recopilar contenido para entrenamiento. La especificación propuesta por Kevin Kelley, líder técnico de estándares de Anthropic, introduce un token que cualquier crawler compatible puede reconocer —independientemente de qué empresa lo opera—.

Qué significa esto en la práctica

Para publicaciones y creadores de contenido, el cambio es significativo. Hoy existen decenas de empresas recopilando contenido de la web para entrenamiento de IA, muchas sin transparencia sobre sus prácticas. El nuevo token crea un mecanismo técnico que transforma una preferencia declarativa en una acción coordinada —en lugar de que cada sitio necesite negociar con decenas de empresas, basta publicar el token una vez—.

La distinción más interesante, sin embargo, no está en el bloqueo general, sino en la granularidad que Microsoft introdujo en el anuncio. Los publicadores podrán usar el mismo mecanismo para distinguir entre dos tipos de recopilación: el entrenamiento de modelos (donde el contenido se absorbe en el modelo y se almacena en sus pesos) y el grounding (donde un sistema usa una copia en vivo de una página para fundamentar una respuesta en tiempo real, sin almacenarla para entrenamiento futuro). Esta separación es estratégica porque toca dos tipos de riesgo distintos: cuestiones de procedencia de datos y derechos de autor en el primer caso, y problemas de precisión y actualización de información en el segundo.

Meta, por su parte, aún no se ha comprometido con la implementación, aunque ha expresado apoyo al concepto. La empresa ya enfrentó una acción judicial de publicadores sobre el uso de contenido para entrenamiento de IA —lo que hace su postura de observación aún más curiosa—. La posición actual de Meta fue objeto de debate intenso en octubre, cuando actualizaciones controversias en sus términos de servicio generaron preocupación sobre la capacidad de la empresa de utilizar contenido de terceros para entrenar sus modelos.

El contexto legal

La iniciativa no surge del vacío. Se conecta a un escenario regulatorio cada vez más complejo. En Europa, la Ley de IA ya establece transparencias para modelos de IA de alto riesgo, incluyendo reglas sobre identificación de prácticas de scraping. En Estados Unidos, las cuestiones de fair use continúan siendo debatidas en los tribunales, sin una definición definitiva para el caso específico de entrenamiento de IA. El Reino Unido, por su parte, abandonó una propuesta de opt-out obligatorio en marzo de 2026.

La especificación técnica, como propone la IETF, es deliberadamente neutral en términos legales —no resuelve quién tiene el derecho legal de bloquear qué, ni decide si el scraping para entrenamiento es fair use—. En lugar de eso, ofrece la capa técnica que permite a los proveedores de IA respetar las preferencias de los editores sin necesidad de un acuerdo individual. Es el mismo principio que llevó al estándar HTTPS a reemplazar la navegación no cifrada: la infraestructura de soporte permite la adopción generalizada sin imponer una posición jurídica.

Qué esperar

El anuncio plantea preguntas prácticas importantes. ¿La adopción será universal? ¿Las startups de IA más pequeñas que no firmaron la declaración seguirán el protocolo? ¿Cómo se hará la verificación del cumplimiento? Y, más fundamentalmente, ¿un token en el robots.txt realmente basta para proteger una obra, o las empresas de IA seguirán encontrando alternativas para obtener datos que no estén explícitamente disponibles en páginas accesibles a los crawlers?

La respuesta más honesta tal vez sea que esto es una pieza del rompecabezas —no la pieza final, pero el primer mecanismo ampliamente aceptado de que el sector necesita para alinear intereses hasta ahora completamente asimétricos—. En un mercado donde el contenido de la web es el combustible principal de la IA y, al mismo tiempo, el recurso que los creadores más desean proteger, el token compartido podría ser el punto de inflexión de una nueva fase en las relaciones entre publicadores y proveedores de IA.

Fuentes: The Verge, SiliconANGLE, AI Governance Institute

✓ Fuentes independientes cruzadas y verificadas antes de la publicación