Компания Cloudflare, запустила серию новых инструментов для работы с ИИ-ботами, таких как AI Audit и Block AI Scrapers and Crawlers. Эти инструменты призваны облегчить владельцам сайтов, создателям и издателям принятие решения о том, разрешать ли ботам ИИ доступ к своему контенту. В связи с этим Cloudflare заявила, что, когда краулеры AI получают доступ к содержимому сайта, все пользователи Cloudflare могут просматривать и контролировать его.
AI Audit может отслеживать типы и конкретные действия краулеров AI. В частности, AI Audit берет логи посещений веб-сайтов и ищет пользовательские агенты, которые соответствуют известным краулерам AI, а также агрегирует активность каждого краулера. Он также предоставляет фильтры, чтобы веб-мастера могли видеть активность краулеров ИИ из определенного источника. С помощью AI Audit веб-мастера могут просматривать различные модели поведения краулеров AI, включая частоту посещений и конкретный контент, к которому они обращаются. Кроме того, с помощью AI Audit веб-мастера могут просматривать наиболее популярный контент сайта, чтобы понять, сколько раз соответствующий контент был просмотрен за определенный период.
«Мы считаем, что вы должны знать, почему, когда и как часто ИИ-краулеры посещают ваш сайт. Используя эти данные, вы можете начать анализировать, как ИИ-краулеры получают доступ к вашему сайту. Кроме того, Cloudflare отметила, что многие ИИ-компании используют несколько краулеров для выполнения различных задач. Эти различия очень важны. Сканирование разными типами краулеров может повлиять на посещаемость вашего сайта или атрибуцию контента.
- говорится в блоге Cloudflares
С другой стороны, инструменты Block AI Scrapers and Crawlers позволяют администраторам сайтов блокировать все AI-краулеры одним щелчком мыши. По поводу этого инструмента Cloudflare говорит: «Эта опция одним щелчком мыши блокирует доступ к вашему сайту известных AI-краулеров на основе списка, который ведет Cloudflare. Когда блокировка установлена, вы и ваша команда можете принимать более удобные решения о том, что делать с вашим контентом дальше.
Сообщается, что если администратор сайта решит не разрешать никаких сканеров, ему нужно будет только включить функцию Block AI Scrapers and Crawlers. Если вы хотите выборочно разрешить некоторым AI-сканерам ползать, Cloudflare также поддерживает администраторов сайтов в этом. Администраторы также могут создавать правила типа Блокировать все краулеры ИИ, кроме тех, которые принадлежат определенной платформе. Cloudflare подчеркнула, что в дополнение к применению этих новых фильтров мы рекомендуем клиентам рассмотреть возможность обновления условий обслуживания, чтобы охватить этот новый случай использования.
Стоит отметить, что Cloudflare также объявила о том, что в следующем году запустит торговую площадку, позволяющую компаниям, работающим с искусственным интеллектом, оплачивать права на сканирование контента веб-сайтов. По словам Cloudflare, операторы веб-сайтов смогут размещать свои сайты на этой площадке, и если разработчик ИИ готов заплатить за его содержимое, он сможет предоставить последнему право на сканирование содержимого сайта для обучения больших моделей ИИ.
Комментарии (0)