El IETF impulsa un estándar para que los administradores decidan qué contenidos pueden utilizar los modelos de inteligencia artificial. OpenAI, Google, Microsoft y Anthropic respaldan la iniciativa, que busca poner orden en el rastreo de internet.
Los propietarios de páginas web llevan años enfrentándose a una cuestión cada vez más relevante: ¿pueden las grandes empresas tecnológicas utilizar sus contenidos para entrenar modelos de inteligencia artificial sin autorización expresa? La respuesta empieza a tomar forma con un nuevo estándar que pretende facilitar el control sobre la información publicada en internet.
El Grupo de Trabajo de Ingeniería de Internet (IETF) ha impulsado un mecanismo que permite a los administradores de sitios web expresar sus preferencias sobre el uso de sus contenidos en el entrenamiento de modelos generativos. La propuesta se apoya en una herramienta conocida por los profesionales de internet: el archivo robots.txt.
La iniciativa cuenta con el respaldo anunciado de OpenAI, Anthropic, Google y Microsoft, cuatro de los principales actores del sector de la inteligencia artificial. Las compañías han comunicado su adhesión y prevén desplegar el mecanismo en distintas fases hasta comienzos de 2027, según la información publicada por Digital Inside el 3 de noviembre.
El cambio pretende facilitar una tarea que hasta ahora podía resultar compleja: permitir o impedir que los rastreadores recopilen determinados contenidos para entrenar modelos de IA, sin tener que configurar reglas distintas para cada empresa.
Robots.txt: una herramienta conocida para controlar el entrenamiento de IA
El nuevo estándar utiliza el archivo robots.txt, un recurso que los administradores web emplean habitualmente para indicar a los rastreadores qué partes de una página pueden consultar.
Hasta ahora, este archivo se utilizaba principalmente para gestionar el acceso de los robots de los buscadores y otros servicios de rastreo. La propuesta del IETF amplía sus posibilidades para abordar una cuestión que ha ganado relevancia con el desarrollo de la inteligencia artificial generativa.
El sistema incorpora un identificador específico, __usage_ai-training, dentro de la línea que identifica al agente de usuario. A partir de esa señal, los administradores pueden establecer reglas para permitir o restringir el acceso a determinadas rutas del servidor.
La ventaja es que no se necesita crear un sistema completamente nuevo. Los rastreadores tradicionales que no reconozcan el identificador simplemente lo ignorarán, por lo que la nueva señalización no debería alterar su comportamiento habitual.
Esta compatibilidad permite incorporar las reglas de entrenamiento de IA a una infraestructura que ya utilizan millones de sitios web.
Los administradores podrán decidir qué partes de una web se utilizan
Uno de los aspectos más relevantes de la propuesta es que permite establecer permisos diferenciados por directorios o rutas, en lugar de aplicar únicamente una restricción general a todo el dominio.
Esto ofrece mayor flexibilidad a empresas, medios de comunicación, instituciones y otros propietarios de páginas web.
Por ejemplo, una organización podría restringir el uso de sus artículos, documentos internos publicados o contenidos protegidos, mientras permite que los rastreadores accedan a determinadas páginas corporativas de carácter público.
El mecanismo busca evitar una situación en la que el administrador tenga que bloquear todo su sitio web para impedir que una parte de sus contenidos se utilice en el entrenamiento de modelos.
La posibilidad de establecer reglas más precisas puede resultar especialmente relevante para medios de comunicación, editoriales, empresas tecnológicas y organizaciones que publican información de valor comercial.
Sin embargo, la señalización no debe confundirse con una garantía absoluta de protección: su eficacia depende de que los rastreadores respeten las reglas y de que los propietarios puedan verificar su cumplimiento.
Entrenar una IA no es lo mismo que utilizar un buscador
El documento técnico también delimita qué se considera entrenamiento de inteligencia artificial.
La definición se centra en el uso de activos digitales para modificar los parámetros de modelos generativos, es decir, sistemas capaces de producir contenido sintético a partir de los datos con los que han sido entrenados.
Quedan fuera de esta definición los sistemas de clasificación, puntuación o posicionamiento, incluidos los mecanismos habituales de los buscadores.
Esta distinción pretende evitar que las nuevas restricciones interfieran con el funcionamiento tradicional de internet. Un administrador podría limitar el uso de sus contenidos para entrenar modelos generativos sin bloquear necesariamente su aparición en resultados de búsqueda.
La diferencia es importante porque no todos los sistemas que recopilan información de una web la utilizan con el mismo propósito.
Un buscador puede analizar una página para indexarla y mostrarla cuando alguien realiza una consulta. Un modelo generativo, en cambio, puede utilizar los datos para modificar sus parámetros durante el entrenamiento.
El nuevo estándar pretende establecer una señal común para distinguir ambas actividades.
OpenAI, Google, Microsoft y Anthropic respaldan el estándar
La iniciativa ha recibido el apoyo de cuatro grandes empresas estadounidenses del sector de la inteligencia artificial.
Según Digital Inside, OpenAI, Anthropic, Google y Microsoft anunciaron su adhesión el 30 de octubre y prevén implementar el sistema en diferentes fases hasta principios de 2027.
La participación de estas compañías es relevante porque el estándar solo tendrá utilidad práctica si los principales rastreadores lo interpretan de manera consistente.
La propuesta pretende reducir la fragmentación de las reglas actuales, en las que los administradores pueden verse obligados a mantener configuraciones específicas para distintos servicios.
Con un mecanismo común, los propietarios de páginas web podrían expresar sus preferencias de forma más sencilla y evitar duplicar instrucciones en sus archivos de configuración.
No obstante, el respaldo anunciado no significa que todas las empresas hayan completado ya su implementación. La adopción técnica se plantea de manera gradual.
¿Qué ocurre con las empresas europeas y chinas?
La información publicada señala que, hasta el momento, ninguna compañía europea o china había anunciado formalmente su adhesión al estándar.
Esta ausencia no demuestra necesariamente oposición a la iniciativa. Puede responder a que las empresas todavía no se han pronunciado, están evaluando su implementación o no han anunciado públicamente sus planes.
La adopción internacional será importante para que el sistema tenga un alcance efectivo. Internet no está dividido en mercados aislados y los contenidos de una web pueden ser recopilados por rastreadores de empresas que operan desde diferentes jurisdicciones.
La eficacia del estándar dependerá de que las compañías que recopilan información acepten respetar las preferencias expresadas por los administradores.
También será necesario comprobar cómo se aplicará en la práctica y qué mecanismos existirán para detectar incumplimientos.
El gran debate: quién controla los contenidos publicados en internet
La expansión de la inteligencia artificial ha intensificado las tensiones entre los propietarios de contenidos y las empresas que desarrollan modelos generativos.
Los medios de comunicación, las editoriales y otras organizaciones sostienen que sus publicaciones representan una inversión económica y creativa que debe protegerse. Las empresas de IA, por su parte, necesitan grandes cantidades de información para desarrollar y mejorar sus sistemas.
El nuevo estándar intenta facilitar una vía técnica para expresar preferencias, pero no resuelve por sí solo todas las cuestiones jurídicas relacionadas con los derechos de autor, las licencias o el uso de contenidos protegidos.
Indicar que un contenido no debe utilizarse para entrenar una IA no equivale automáticamente a resolver cualquier disputa legal sobre su utilización. La señalización técnica y los derechos que reconoce la legislación son cuestiones relacionadas, pero distintas.
Por eso, el desarrollo de mecanismos como este puede ayudar a ordenar las relaciones entre propietarios de contenidos y empresas tecnológicas, aunque seguirá siendo necesario determinar qué obligaciones legales corresponden a cada parte.
Un paso hacia mayor control, pero todavía quedan incógnitas
La propuesta del IETF representa un intento de simplificar la gestión de los contenidos web frente al crecimiento de la inteligencia artificial generativa.
Su principal ventaja es ofrecer una herramienta conocida, compatible con los sistemas actuales y capaz de establecer reglas más precisas sobre qué partes de una web pueden utilizarse para entrenar modelos.
El respaldo de OpenAI, Google, Microsoft y Anthropic puede facilitar su adopción, aunque el despliegue previsto para 2027 y la respuesta de otras compañías serán determinantes.
También queda por comprobar cómo se garantizará que los rastreadores respeten las preferencias de los administradores y qué consecuencias tendrá ignorar esas restricciones.
La cuestión de fondo es quién debe decidir cómo se aprovecha la información publicada en internet: sus propietarios, las plataformas tecnológicas o ambos bajo reglas comunes.
El nuevo estándar no cierra ese debate, pero introduce una herramienta para que los administradores web puedan expresar sus preferencias de forma más clara y centralizada.
Chollones
Chollones
Chollones