Компания Cloudflare объявила о намерении автоматически блокировать универсальные веб-боты. Речь идет о ботах, которые одновременно индексируют сайты для поисковых систем, работают как ИИ-агенты и собирают данные для обучения моделей искусственного интеллекта. До сих пор каждый клиент определял такую политику самостоятельно, теперь же настройки по умолчанию станут защитными.
По словам генерального директора Cloudflare Мэтью Принса, большая часть трафика в интернете уже генерируется не людьми. Поэтому компания должна действовать более решительно ради устойчивой экосистемы. Он пояснил, что новые инструменты и партнерства Cloudflare предоставляют владельцам сайтов больше прозрачности и коммерческих возможностей. В то же время они приносят пользу тем ИИ-компаниям, чьи боты работают с понятными и прозрачными намерениями. Принс выразил надежду, что изменения по умолчанию побудят операторов универсальных ботов разделить функции поиска, агентов и обучения.
До недавнего времени показатели веб-трафика отражали, как люди просматривают рекламу или оплачивают подписку. Однако популярность ИИ-моделей, способных посещать сайты от имени пользователей в поисках свежей информации, нарушила эту систему. Поэтому Cloudflare пытается восстановить баланс, справедливый как для разработчиков ИИ, так и для владельцев сайтов.
Новые правила вступят в силу с 15 сентября. С этой даты все новые клиенты и все новые сайты существующих клиентов по умолчанию будут разрешать поиск. Однако обучение и работу агентов на страницах с рекламой они будут блокировать. Поисковые роботы универсального назначения, не оставляющие владельцам сайтов возможности выбора в отношении использования ресурса для ИИ, по умолчанию будут блокироваться на рекламных страницах. Пользователи с бесплатными учетными записями также перейдут на эти настройки, если не откажутся от них до 15 сентября.
Подписывайтесь на Mediasat в Telegram: здесь самые интересные новости из мира технологий
Помимо блокировки, Cloudflare запускает функцию «Оплата по факту использования» (Pay Per Use). Благодаря ей владельцы сайтов будут получать вознаграждение каждый раз, когда их материалы будут появляться в ответах ИИ-чат-ботов. На данный момент компания заключила партнерские соглашения с Ceramic.AI и You.com и, очевидно, рассчитывает привлечь к этой инициативе других разработчиков.
Механизм блокировки универсальных ботов косвенно направлен и против Google. В Cloudflare отметили, что крупнейшая поисковая система имеет доступ к объему информации, в два раза превышающему объём данных ведущих разработчиков ИИ. Причина проста — Google затрудняет клиентам возможность оставаться доступными для поиска, не позволяя использовать их контент для ИИ. Основной робот компании, Googlebot, индексирует сайты для поисковой системы и одновременно собирает данные для обучения Gemini. Он также обеспечивает работу таких функций, как «Режим ИИ» и «Обзоры от ИИ» в результатах поиска.
Существует также отдельный бот Google-Extended, который формирует только результаты традиционного поиска. Однако если владелец сайта хочет присутствовать в ИИ-поиске, но не желает предоставлять материалы для обучения ИИ Google, у него нет такой возможности. Именно поэтому новая политика Cloudflare стала попыткой заставить Google и другие компании, использующие универсальные боты, изменить тактику.
Ранее совместно с разработчиками Google Chrome, Microsoft Edge и Mozilla Firefox компания начала разрабатывать технологию частных токенов контроля доступа (Private Access Control Tokens, PACT). Она призвана помочь администраторам сайтов отличать запросы людей и добросовестных ботов от трафика, генерируемого ботами недобросовестных разработчиков.
