Los principales actores del sector tecnológico, incluyendo a OpenAI, Google, Microsoft y Anthropic, han unido fuerzas para respaldar un estándar unificado que facilitará a los editores web impedir el rastreo de sus portales con el propósito de entrenar sistemas de inteligencia artificial. Esta iniciativa simplifica un procedimiento que anteriormente obligaba a aplicar bloqueos de manera individual para los bots de cada corporación.
Funcionamiento del nuevo mecanismo de exclusión
La propuesta fue presentada ante la Internet Engineering Task Force (IETF) por Kevin Kelley, quien se desempeña como líder técnico de estándares en Anthropic. El sistema elimina la necesidad de configurar listados de exclusión separados para recolectores específicos como GPTBot o Google-Extended. En su lugar, el procedimiento permite administrar las directrices para la totalidad de los proveedores tecnológicos principales mediante una única instrucción incorporada en el archivo robots.txt.
Los administradores de los portales digitales solamente deben añadir una regla orientada a este token específico para notificar a las compañías firmantes que la información del dominio no debe emplearse en el aprendizaje de modelos generativos. Además, la herramienta ofrece la alternativa de autorizar o restringir el rastreo en apartados o directorios particulares de la página.
En relación con la medida, Google señaló a través de su plataforma oficial para desarrolladores: “Cuando un sitio web utiliza este token de política para optar por no participar en el entrenamiento en su archivo robots.txt, Google planea interpretarlo como si el editor hubiera deshabilitado Google-Extended. Otros proveedores de IA pueden manejarlo de manera similar, lo que facilita a los propietarios de sitios web optar por no participar en todos los proveedores o seleccionar los que deseen. Los controles existentes específicos de cada empresa seguirán funcionando junto con esta nueva señal conjunta”.
Adopción y limitaciones del nuevo estándar
El surgimiento de este acuerdo coincide con el esfuerzo de los creadores de contenido por frenar la extracción automatizada de datos por parte de múltiples sistemas tecnológicos. A pesar del respaldo de OpenAI, Google, Microsoft y Anthropic, otras firmas como Meta han manifestado su simpatía por una señal compartida, aunque todavía no han oficializado su fecha de integración.
El calendario de despliegue varía según la compañía: Anthropic ya habilitó el soporte para este token, mientras que OpenAI proyecta sumarlo en el corto plazo. Por su parte, Google y Microsoft prevén incorporar la herramienta a lo largo del año 2027. Las empresas promotoras insisten en que activar esta restricción no repercutirá de forma negativa en la visibilidad orgánica de los sitios web dentro de los buscadores.
No obstante, surgen ciertos interrogantes respecto a su efectividad operativa. Dado que el estándar se sustenta en el cumplimiento estrictamente voluntario, carece de sanciones formales o de un organismo independiente que supervise a los recolectores de datos. Asimismo, los desarrolladores de inteligencia artificial de menor escala y los proyectos de código abierto quedan exentos de esta directriz a menos que decidan adoptarla por iniciativa propia.
