La compañía separa por primera vez los rastreadores destinados a búsqueda, agentes y entrenamiento para que los propietarios de webs puedan proteger sus contenidos sin renunciar a la visibilidad tradicional.
Cloudflare quiere acabar con una de las decisiones más incómodas a las que se enfrentaban hasta ahora editores, empresas y propietarios de páginas web: permitir que un rastreador accediera a sus contenidos para mantener la presencia en buscadores podía significar, al mismo tiempo, aceptar que esos mismos textos e imágenes terminaran utilizados para entrenar sistemas de inteligencia artificial.
La compañía ha introducido un nuevo control denominado Disallow AI Training que permite bloquear expresamente el entrenamiento de modelos sin tener que impedir necesariamente el rastreo destinado a los buscadores tradicionales.
El cambio afecta especialmente a los llamados rastreadores de uso mixto, utilizados simultáneamente para indexar páginas y para alimentar sistemas de IA.
Cloudflare asegura que Apple, Google y Microsoft ya cumplen o se han comprometido, dentro de un plazo definido, a respetar esta separación.
Cloudflare separa búsqueda, agentes y entrenamiento de IA
Hasta ahora, buena parte de los controles contra bots funcionaban de manera relativamente general.
Bloquear un rastreador podía impedir su acceso independientemente de la finalidad con la que visitara una página.
Cloudflare ha sustituido esa lógica por tres categorías diferenciadas:
- Search: rastreadores que indexan contenidos para búsquedas.
- Agent: agentes automatizados que visitan una web en nombre de un usuario.
- Training: rastreadores que recopilan información para entrenar o ajustar modelos de IA.
Cada propietario puede decidir si permite, limita o bloquea cada categoría por separado.
El objetivo es que una empresa pueda decir, en la práctica: “quiero aparecer en el buscador, pero no quiero que mis artículos se utilicen para entrenar un modelo”.
El problema de los rastreadores que hacen varias cosas a la vez
La dificultad se encontraba principalmente en los rastreadores de uso mixto.
Algunas grandes compañías utilizan un mismo crawler para varias funciones.
Si ese robot sirve tanto para búsqueda como para entrenamiento, bloquearlo para impedir el aprendizaje de IA puede tener como consecuencia que la página deje también de indexarse correctamente.
Cloudflare considera que este modelo obliga a los propietarios de contenidos a aceptar un intercambio poco transparente.
Su nueva política intenta forzar una mayor separación entre usos.
Googlebot, Applebot y BingBot entran en el nuevo sistema
Cloudflare menciona específicamente a rastreadores como Googlebot, Applebot y BingBot entre aquellos que pueden combinar diferentes finalidades.
Desde el 15 de septiembre de 2026, los rastreadores de uso múltiple que incluyan funciones de entrenamiento quedan sometidos también a las reglas elegidas para la categoría Training.
Esto supone un cambio importante respecto al antiguo sistema Block AI Bots.
La versión anterior excluía determinados rastreadores multifunción porque bloquearlos podía tener consecuencias sobre la indexación.
El nuevo modelo permite una gestión mucho más granular.
Apple, Google y Microsoft reciben la nueva calificación de Cloudflare
Cloudflare ha creado además una denominación específica para aquellos operadores que ofrecen garantías suficientes a los propietarios de páginas.
Los rastreadores considerados responsables deben permitir que una web pueda expresar sus preferencias sobre el uso de sus contenidos.
Entre los requisitos se incluye separar o respetar mecanismos que permitan:
rechazar el entrenamiento,
limitar la aparición en resúmenes generados por IA,
conocer cómo se utiliza el contenido y
garantizar que rechazar el entrenamiento no perjudique la clasificación tradicional en buscadores.
Cloudflare señala a Apple, Google y Microsoft como compañías que cumplen o se han comprometido a cumplir esos criterios.
Bloquear el entrenamiento ya no debería significar desaparecer del buscador
Este es precisamente el cambio central.
Durante años, la relación entre buscadores y páginas web se basó en un intercambio sencillo.
El buscador rastreaba el contenido.
La página aparecía en los resultados.
Y el buscador enviaba tráfico hacia el medio original.
La expansión de los modelos generativos ha complicado ese acuerdo.
Los mismos contenidos pueden utilizarse ahora para crear respuestas que, en muchos casos, reducen la necesidad de que el usuario visite la fuente original.
Cloudflare sostiene que el propietario debe poder decidir qué usos acepta sin sacrificar necesariamente su presencia en buscadores.
Solo una minoría quiere bloquear las búsquedas
Los datos internos de Cloudflare muestran precisamente esta diferencia de prioridades.
Muy pocos propietarios desean impedir completamente que los motores de búsqueda indexen sus webs.
La preocupación se concentra mucho más en el entrenamiento de modelos.
Según los datos publicados por la compañía, los rastreadores mixtos se han convertido en una parte especialmente relevante del tráfico automatizado que observa su red.
Esta situación explica por qué Cloudflare considera insuficiente dividir los bots simplemente entre “IA” y “no IA”.
La pregunta pasa a ser qué está haciendo realmente cada robot con el contenido.
Las nuevas webs con publicidad tendrán más protección por defecto
Cloudflare también ha modificado la configuración inicial de sus servicios.
Desde el 15 de septiembre, los nuevos dominios incorporados a su plataforma reciben una configuración diferenciada.
En páginas que muestran publicidad:
Search permanece permitido, mientras Training y Agent quedan bloqueados por defecto.
La empresa justifica esta política porque una página financiada mediante publicidad necesita que una persona real visite el contenido.
Un bot que consume ese artículo sin generar una visita puede reducir el valor económico de la publicación.
Los clientes pueden modificar posteriormente esta configuración.
Cloudflare no trata igual a un buscador y a un agente
La separación también refleja un cambio profundo en Internet.
Un rastreador tradicional visita una web para crear un índice.
Un agente de IA puede entrar en la página para realizar una tarea concreta en nombre de una persona.
Por ejemplo, consultar información, navegar por una aplicación o completar determinadas acciones.
Cloudflare considera que esos comportamientos deben administrarse de manera diferente porque el beneficio que recibe el propietario de la web también es distinto.
Por eso introduce controles independientes incluso aunque todos esos sistemas puedan utilizar inteligencia artificial.
El antiguo botón de “bloquear IA” queda atrás
El anterior sistema de Cloudflare incluía un interruptor general denominado Block AI bots.
Ese modelo comenzó a quedarse corto a medida que la industria introdujo rastreadores con múltiples finalidades.
La compañía ha comenzado a reemplazarlo por controles separados.
Los usuarios pueden ahora configurar cada comportamiento como:
bloquear en todas las páginas,
bloquear únicamente en páginas con publicidad o
permitirlo.
La funcionalidad está disponible también para clientes del nivel gratuito de Cloudflare.
Cloudflare quiere convertir robots.txt en algo más expresivo
La compañía trabaja también en mecanismos para que los propietarios expresen de forma estandarizada qué usos permiten.
Uno de ellos son las llamadas Content Signals, señales incorporadas en mecanismos como robots.txt.
Cloudflare ha utilizado preferencias como:
search=yes
para permitir indexación tradicional, y
ai-train=no
para comunicar que el propietario no autoriza el entrenamiento de modelos.
Estas señales expresan una preferencia.
No equivalen necesariamente a una barrera técnica por sí mismas.
Para bloquear realmente el acceso, Cloudflare combina estas instrucciones con sus herramientas de gestión de bots.
Bot Preference Sync centraliza las decisiones
Otro componente importante es Bot Preference Sync.
El sistema intenta evitar que los administradores tengan que configurar individualmente decenas de rastreadores diferentes.
El propietario establece sus preferencias una vez y Cloudflare intenta trasladarlas automáticamente a los mecanismos compatibles de cada operador.
La compañía sostiene que mantener manualmente reglas diferentes para cada plataforma se ha vuelto demasiado complejo.
La proliferación de asistentes, motores de respuesta, buscadores tradicionales y agentes autónomos puede hacer prácticamente imposible para una empresa pequeña seguir todos los cambios.
Cloudflare vigilará si los rastreadores cumplen su palabra
La nueva política incluye además un elemento de control.
Cloudflare está recopilando información sobre el comportamiento de bots mediante BotBase, su directorio de rastreadores y agentes.
Cuando detecte que un operador incumple las preferencias expresadas por los propietarios, ese bot puede perder su condición de Verified dentro del ecosistema de Cloudflare.
Eso proporciona una consecuencia técnica adicional al incumplimiento.
La compañía intenta así evitar que las declaraciones de respeto al contenido dependan únicamente de compromisos voluntarios sin supervisión.
La batalla ya no es solo por el entrenamiento
La evolución del mercado está trasladando además el problema hacia otro terreno: los resúmenes generados directamente por IA.
Aunque una empresa consiga impedir que su contenido se use para entrenar un modelo, todavía puede querer decidir si sus artículos pueden ser empleados en respuestas automáticas ofrecidas por un buscador.
Ese fenómeno afecta particularmente a medios de comunicación, tiendas, páginas de análisis y webs financiadas por publicidad.
Si una inteligencia artificial responde directamente utilizando la información original, el usuario puede no tener necesidad de entrar en el sitio que produjo el contenido.
Cloudflare lleva tiempo defendiendo que esa relación debería ser más transparente y medible.
La compañía prepara controles todavía más precisos
El objetivo a medio plazo consiste en permitir que el propietario defina con más precisión cómo puede reutilizarse su contenido.
Cloudflare ya trabaja con conceptos relacionados con la reproducción completa, las referencias y diferentes grados de utilización.
La intención es superar el actual modelo binario de “permitir o bloquear”.
Un editor podría terminar permitiendo, por ejemplo, que una IA cite brevemente una página pero no reproduzca una parte sustancial de ella.
Este tipo de controles todavía está evolucionando y depende también de que los grandes operadores de IA acepten mecanismos comunes.
Cloudflare presiona para crear estándares comunes
La empresa participa además en debates de estandarización dentro de organismos como el Internet Engineering Task Force (IETF).
El objetivo final sería disponer de un lenguaje técnico común con el que cualquier web pudiera expresar qué usos permite y cuáles rechaza.
Eso evitaría depender exclusivamente de mecanismos propietarios de Google, Microsoft, OpenAI, Apple u otras compañías.
La necesidad de estandarización aumenta a medida que aparecen nuevos modelos y agentes.
Un Internet donde cada empresa obligara a utilizar un protocolo diferente resultaría difícil de gestionar incluso para grandes organizaciones.
El cambio tiene especial importancia para los medios digitales
Los editores son probablemente uno de los sectores más directamente afectados.
Durante años, una parte significativa de su tráfico dependió de buscadores.
Ahora una creciente proporción de las consultas puede terminar resuelta dentro del propio buscador o asistente de IA.
Cloudflare ha advertido de la enorme diferencia existente entre el volumen de contenido que algunos bots consumen y el tráfico humano que después envían a las páginas originales.
Por eso, disponer de herramientas que permitan mantener SEO sin regalar automáticamente el contenido para entrenamiento puede convertirse en un elemento estratégico para periódicos y publicaciones digitales.
También cambia la relación de poder con las grandes tecnológicas
La novedad tiene una consecuencia más amplia.
Hasta hace poco, la capacidad para establecer las condiciones recaía principalmente en las grandes plataformas.
Una empresa podía aceptar el rastreo o bloquearlo.
Ahora Cloudflare intenta introducir una capa intermedia en la que el propietario indique con mayor precisión qué permite hacer a cada crawler.
Esto no garantiza por sí mismo que todos los operadores del mercado respeten esas preferencias.
Pero sí aumenta la capacidad técnica de detectar y bloquear comportamientos incompatibles con ellas.
Cloudflare apuesta por un Internet donde el contenido tenga reglas propias
Matthew Prince, cofundador y consejero delegado de Cloudflare, ha defendido que la apertura de Internet debe mantenerse, pero sin obligar a empresas y creadores a renunciar al control sobre su trabajo.
La filosofía que está intentando imponer la compañía puede resumirse así:
ser visible no debería equivaler automáticamente a autorizar cualquier reutilización.
Ese principio resulta especialmente importante en una época en la que un mismo rastreador puede alimentar un buscador, generar una respuesta de IA y contribuir al entrenamiento de un modelo.
Cloudflare pretende que cada una de esas actividades pueda tener reglas diferentes.
El SEO y el entrenamiento de IA empiezan finalmente a separarse
El cambio puede parecer técnico, pero afecta directamente al futuro económico de Internet.
Durante años, aparecer en buscadores significó aceptar el rastreo.
Con la expansión de la inteligencia artificial, ese mismo rastreo adquirió usos que no existían cuando se establecieron las normas tradicionales.
Cloudflare intenta ahora actualizar ese contrato.
Una web podrá querer ser encontrada.
Podrá permitir que Google, Bing o Apple la indexen.
Y al mismo tiempo podrá declarar que sus artículos, fotografías o documentación no deben utilizarse para entrenar modelos de inteligencia artificial.
La eficacia final del sistema dependerá de dos elementos: que los grandes operadores respeten esas preferencias y que Cloudflare sea capaz de detectar a quienes no lo hagan.
Pero el cambio introduce una distinción que editores y empresas llevaban tiempo reclamando:
aparecer en Internet ya no tiene por qué significar entregar el contenido para cualquier uso algorítmico.
Chollones
Chollones
Chollones