OpenAI Google Microsoft y Anthropic unifican robots.txt contra el scraping de IA

TL;DR / KEY POINTS

• OpenAI, Google, Microsoft y Anthropic formalizaron un acuerdo para respaldar el token unificado __usage_ai-training en el archivo robots.txt.
• La iniciativa, canalizada mediante un borrador ante el IETF por Kevin Kelley (Anthropic), reemplaza la fragmentación de directivas individuales por un único opt-out global para entrenamiento de modelos generativos.
• El despliegue técnico escalonado (Anthropic de inmediato, OpenAI en los próximos meses y Google / Microsoft en 2027) redefine la soberanía de datos y la gobernanza de propiedad intelectual frente a la AI Act europea.

Un armisticio técnico en la guerra por los datos de la web abierta

El ecosistema digital ha operado durante más de tres años bajo una asimetría crítica: los propietarios de sitios web y creadores de contenido debían gestionar decenas de agentes de rastreo propietarios (GPTBot, ClaudeBot, Google-Extended, Bingbot) para evitar que sus activos sirvieran de combustible no remunerado para modelos de lenguaje masivo. Las cuatro principales corporaciones fundacionales de inteligencia artificial acordaron reconocer conjuntamente el token de política __usage_ai-training dentro del protocolo estándar robots.txt.

El documento base, registrado formalmente ante el IETF bajo la autoría de Kevin Kelley, líder técnico de estándares en Anthropic, lleva el título Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal-00). Su arquitectura no introduce gramáticas exóticas ni modifica la especificación RFC 9309, sino que reutiliza la directiva existente declarando una política agnóstica de agente:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Esta formulación permite a cualquier administrador excluir la totalidad de su dominio —o preservar subdirectorios específicos de difusión pública— con apenas dos líneas de configuración, desactivando la necesidad de auditorías perpetuas de rastreadores emergentes.

Desacoplamiento táctico: Crawling, Grounding y Training

Uno de los aspectos más determinantes del estándar promovido en el IETF AI Preferences Working Group radica en la separación conceptual de las cargas de trabajo de red:

1. Rastreo e Indexación (Crawling & Search): El token __usage_ai-training no impide el acceso http del robot para fines de indexación orgánica en motores de búsqueda tradicionales. Bloquear el entrenamiento no implica desaparecer del índice de Google o Bing.
2. Generación con Recuperación Aumentada (Grounding): La consulta en tiempo real que ejecuta un asistente como ChatGPT Search o Copilot para referenciar enlaces directos se distingue explícitamente de la ingesta de pesos. Microsoft ha precisado que el estándar permitirá granularidad a partir del 1 de febrero de 2027, separando el entrenamiento paramétrico del grounding transaccional.
3. Ajuste y Pre-entrenamiento (Training): La directiva cubre la ingesta masiva orientada a modificar los pesos neuronales de modelos generativos, cerrando el grifo del raspado indiscriminado para arquitecturas frontier.

Cronogramas de implementación y fragmentación temporal

Aunque el consenso institucional es unánime, el calendario de ejecución técnica revela fricciones operativas y compromisos asimétricos entre los gigantes tecnológicos:

• Anthropic: Activó el soporte preliminar de forma inmediata el mismo 30 de octubre de 2026, integrando la lectura del token en los pipelines de ingesta de la familia Claude.
• OpenAI: Confirmó que el reconocimiento del token será introducido gradualmente a lo largo de los próximos meses, manteniendo operativas en paralelo las directivas específicas de GPTBot.
• Google: Posicionó su adopción definitiva para el primer trimestre de 2027. Según John Mueller, Search Advocate de la compañía, si un portal declara el token unificado sin mencionar Google-Extended, el motor interpretará automáticamente el bloqueo restrictivo sobre este último.
• Microsoft: Fijo la fecha límite del 1 de febrero de 2027 para sincronizar su infraestructura, reemplazando formalmente sus cabeceras provisionales previas (NoArchive y NoCache introducidas en 2023).

Impacto legal y blindaje ante el marco de la Unión Europea

El movimiento no responde únicamente a la diplomacia técnica, sino a la inminente exigencia de cumplimiento normativo. Bajo la directiva de derechos de autor en el mercado único digital (Directiva UE 2019/790, Artículo 4) y la implementación de los códigos de conducta de modelos de uso general de la AI Act de la Unión Europea, los titulares de derechos requieren de mecanismos de exclusión legibles por máquina (machine-readable opt-outs) legalmente vinculantes.

Entidades editoriales de primer orden como el Financial Times, la BBC, Bertelsmann y el European Publishers Council han colaborado activamente en las deliberaciones del grupo de trabajo. La adopción unificada proporciona a las empresas de medios un soporte forense sólido para litigar o negociar acuerdos de licenciamiento comercial: quien ingiera datos etiquetados con Disallow: / bajo el token __usage_ai-training incurrirá en una vulneración explícita e inequívoca de los términos expresados por la propiedad intelectual del editor.

Foso defensivo y el fin del parasitismo de infraestructura

Para directores de tecnología y líderes corporativos, este cambio delimita el fin de la era de extracción gratuita de datos corporativos. No obstante, plantea un reto técnico para los modelos fundacionales: a medida que los dominios de mayor calidad técnica, jurídica y científica implementen este estándar, el coste marginal de adquisición de datos sintéticos de alta fidelidad y acuerdos de licencia bilateral (data partnerships) escalará drásticamente, consolidando la ventaja competitiva de los actores con mayores reservas de capital institucional.