Cloudfare se protege del impacto de los bots de IA: más opciones para controlar su acceso

La navegación en Internet está cambiando y exige que todas las partes implicadas se adapten a los nuevos planteamientos. Con la llegada de la inteligencia artificial y los asistentes conversacionales la novedad más presente es que el usuario, en lugar de acudir de manera única a los motores de búsqueda, ahora lo hace también en lo que podríamos denominar como motores de respuesta, impulsados por inteligencia artificial.

Con unas respuestas que no hacen uso de enlaces, sino del propio contenido que se aloja en el sitio original, la reducción de tráfico y por tanto de ingresos procedente del mismo es, cada día más, una realidad latente.

Ante ella, Cloudfare ha optado por una solución que, si bien no puede poner puertas a un campo que lleva abierto demasiado tiempo, sí pretende mitigar en parte el crecimiento de funciones como las respuestas generadas con IA que ofrecen motores de búsqueda como Google.

Dejar claros los permisos de acceso a contenido

Tal como recoge Business Insider, la compañía, que ofrece su servicio de CDN (Content Delivery Network), proporcionando una red de entrega de contenido y de otros servicios en materia de seguridad en línea, ha elaborado una nueva guía que bajo el título “Política de Señales de Contenido” busca devolver a los dueños de los sitios web parte del control acerca de lo que bots y sistemas de inteligencia artificial hacen con el contenido albergado en sus sitios web.

De manera especial, tal como apuntó el director ejecutivo de Cloudfare Matthew Prince quiere acortar la ventaja de Google, puesto que su bot alimenta tanto su buscador como sus funciones de IA, mientras que compañías como OpenAI se sirven de bots de rastreo web independientes para los servicios de búsqueda y las ofertas de inteligencia artificial.

¿Qué propone Cloudfare? Algo tan complejo como necesario, bajo su punto de vista: la Política de Señales de Contenido presentada por la compañía el miércoles aspira a mejorar el sistema de control clásico basado en robots.txt, facilitando el permiso o bloque explícito a los bots de IA para acceder al contenido. Esto lo hará permitiendo distinguir entre tres tipos de uso: búsqueda tradicional, respuestas generadas por IA o entrenamiento de IA para el desarrollo de modelos.

Atajar el uso lucrativo de contenido

Todo ello buscando una protección mayor para los creadores de contenido, medios de comunicación, estudios científicos y un sinfín de actores que ven diezmado su potencial de negocio a manos de la inteligencia artificial, tal como ratifica con sus palabras el director ejecutivo de Cloudfare: "Internet no puede esperar una solución mientras el contenido original de los creadores es utilizado con fines de lucro por otras empresas", apuntó.

Se trata pues de una herramienta que concede mayor control para los creadores, que de este modo podrán configurar su sitio de tal manera que no haya ninguna duda acerca de lo que permiten y lo que no permiten que se haga con cuanto tienen alojado en su sitio web y así lo destacó Prince:

"Robots.txt es un recurso infrautilizado que podemos ayudar a fortalecer y dejar claro a las empresas de IA que ya no pueden ignorar las preferencias de un creador de contenido"

La medida puede afectar de manera más directa a Google, que se verá en la disyuntiva de separar sus bots para motor de búsqueda e IA o bien tendría que dejar de rastrear aquellos sitios que hagan uso de esta nueva política y no permitan el acceso a su contenido. Una circunstancia que afectaría a sus resultados de búsqueda, por el potencial de millones de sitios web que pueden optar por esta medida.

Todo ello, tal como apuntó el propio director ejecutivo de Cloudfare, buscando que la web “se mantenga abierta y próspera” mediante la capacidad otorgada a los propietarios de los sitios web de calibrar cómo quieren que las empresas puedan usar su contenido.