AI-краулеры: кто скрейпит ваш сайт для ИИ

В блогах и Telegram-каналах разошёлся тезис: Meta скрейпит веб для обучения ИИ в 31 раз агрессивнее OpenAI и забирает 70% всего training-трафика. Цифра эффектная, её охотно репостят со ссылкой на аналитику DataFast. Одна беда: в самом источнике — каталоге краулеров DataFast — таких чисел нет. Там таксономия из 61 бота по четырём категориям, без единого процента по компаниям.

AI-краулеры — это боты, которые обходят сайты и складывают ваш контент в обучающие датасеты и поисковые индексы для ИИ. За последний год они превратились в заметную часть трафика любого сайта: по данным Fastly, автоматические боты — уже 37% всех запросов в их сети, и почти 80% активности именно AI-краулеров приходится на сбор данных для обучения моделей.

Мы в Gless каждую неделю строим RAG-системы и агентов, которые сами ходят по внешним источникам, и одновременно держим собственные сайты, куда эти боты стучатся. Поэтому смотрим на такие отчёты с двух сторон сразу. Разберём по числам: кто реально скрейпит сильнее всех, откуда взялась «31×», и что с этим делать владельцу сайта.

Кто на самом деле скрейпит сильнее всех — Meta, OpenAI или Anthropic?

Короткий ответ: зависит от того, чью сеть измеряют. Единой картины «мирового трафика» не существует — есть данные отдельных CDN и защитных сервисов, и они расходятся.

По отчёту Fastly Threat Insights за второй квартал 2025 года (опубликован 25 августа, выборка — 6,5 трлн запросов в месяц по 130 тысячам приложений) расклад по трафику AI-краулеров такой:

Три компании дают 95% всего объёма, и Meta одна перевешивает Google с OpenAI вместе взятых. Вот отсюда и растёт тезис «Meta скрейпит агрессивнее всех» — он опирается на реальные данные, просто не на DataFast.

Теперь другая сеть. Cloudflare Radar за тот же период (июль 2025) среди «чистых» AI-ботов ставит на первое место совсем не Meta:

По Cloudflare выходит, что OpenAI скрейпит больше Meta, а не в 31 раз меньше. Год назад, в июле 2024, у Meta вообще было 2,4% — за год её доля выросла до 17,7%, тогда как Bytespider рухнул с 37,3% до 5,8%. Динамика у Meta действительно самая агрессивная, но «70% всего трафика» ни одна независимая сеть не показывает.

Почему такой разброс? У Fastly и Cloudflare разная клиентская база, разные способы верификации ботов и разный период агрегации. Плюс сами боты легко подделать: по оценке Fastly, около 6% трафика, который представляется AI-краулером, на деле — спуфинг под чужим user-agent. Так что любая одна цифра здесь — это срез конкретной сети, а не физический закон.

Откуда взялись «31×» и «70%» — и почему к ним стоит относиться осторожно

Прямой ответ: точный первоисточник этих чисел не находится. Страница datafa.st/crawlers, на которую ссылаются, — это описательный каталог: 61 бот, разложенный по группам «AI answers» (16 ботов), «Search indexes» (14), «Training crawlers» (18) и «Other» (13). Ни «31,3×», ни «70,4%», ни процентов по компаниям, ни выборки, ни даты замера там нет.

Так рождается большинство вирусных цифр в SEO-среде: берётся реальный сигнал («Meta сейчас крупнейший training-краулер по данным Fastly»), округляется до броского числа, теряет источник и период — и живёт своей жизнью. Для нас это рабочий принцип: любую цифру про краулеров стоит проверять по тому, чью сеть и какой месяц она описывает. Если этого нет — цифра декоративная.

Практический вывод не меняется: Meta за последний год стала одним из самых активных AI-краулеров, и это уже повод разобраться, как AI-краулеры ходят по вашему сайту. Просто без магической точности «в 31 раз».

Три типа AI-ботов, которые нельзя путать

Главное, что стоит унести из всей темы: «AI-бот» — это не одна сущность. Их три типа, и относиться к ним надо по-разному, потому что одни забирают ваш контент молча, а другие приводят к вам людей.

Разница принципиальная. GPTBot складывает текст в веса модели без всякой атрибуции — вы не получаете ни ссылки, ни визита. А OAI-SearchBot и ChatGPT-User приводят пользователя из ответа ИИ с кликабельным источником. У Meta это тоже два разных бота: Meta-ExternalAgent обучает Llama, а Meta-ExternalFetcher подтягивает конкретную страницу, когда человек спросил что-то у Meta AI, и иногда даёт цитату.

Отдельная тонкость — «токены отказа» Google-Extended и Applebot-Extended. Это не краулеры: они не делают ни одного HTTP-запроса и живут только как директивы в robots.txt, которые говорят «не используйте мой контент для обучения Gemini / Apple Intelligence». Блокировать их «ради снижения нагрузки» бессмысленно — нагрузки от них ноль.

Если хотите разложить эту механику глубже — training против retrieval лежит в основе того, что такое ИИ-агент и как он работает с внешними данными.

Краулят много — трафика возвращают почти ноль

Прямой ответ: объём скрейпинга и объём приведённого трафика — это разные лиги, и разрыв огромный. Cloudflare считает crawl-to-refer — сколько страниц бот скачал на каждый визит, который его платформа прислала обратно. За июль 2025 картина такая:

Google берёт пять страниц и присылает визит. Anthropic забирает под сорок тысяч страниц на каждый визит — почти чистое одностороннее движение. Это и есть экономика, которую скрывает вирусный заголовок про «31×»: важно не только кто больше качает, а кто хоть что-то возвращает. Мы разбирали похожий перекос в деньгах и токенах в разборе экономики токенов LLM — здесь та же логика, только в трафике.

Отсюда простой критерий для владельца сайта: training-краулеры — чистая отдача контента без обратной связи, search- и user-боты — потенциальный источник визитов из ИИ-ответов. Стричь все AI-краулеры под одну гребёнку — ошибка.

Что это значит для вашего сайта

Помимо философии атрибуции, у AI-краулеров есть три приземлённых эффекта, которые видно уже сейчас.

Нагрузка и мусорные запросы. AI-краулеры пока заметно менее аккуратны, чем Googlebot. По данным Vercel, краулер ChatGPT упирается в 404 на 34,8% запросов, Claude — на 34,2%, тогда как у Googlebot этот показатель 8,2%. Почти каждый третий запрос training-бота уходит в пустоту, но сервер он всё равно нагружает. Ни один из крупных training-краулеров не исполняет JavaScript — они берут HTML как есть.

Скрытые краулеры. Не все играют по правилам. В августе 2025 Cloudflare показала, что Perplexity гоняет необъявленные боты, которые маскируются под обычный Chrome на macOS и ротируют IP вне официальных диапазонов, чтобы обойти robots.txt и блокировки, — по оценке, 3–6 млн запросов в день сверх задекларированного трафика. Так что robots.txt честно останавливает честных.

Дилемма GEO/AEO. Заблокируете всё — защитите контент от обучения, но выпадете из ответов ChatGPT и Perplexity, а это растущий канал. Пустите всех — отдадите проприетарный контент в датасеты без атрибуции. Правильный ответ почти никогда не «всё или ничего».

Как управлять AI-краулерами на практике

Начните с того, что почти никто не делает: откройте robots.txt и распишите AI-краулеры по типам. По данным Cloudflare, robots.txt вообще есть лишь у ~37% топовых сайтов, а GPTBot заблокирован всего у 7,8% из них. То есть базовый контроль над AI-краулерами не настроен почти нигде.

Рабочая стратегия — блокировать training, оставлять retrieval:

# Не отдаём контент на обучение
User-agent: GPTBot
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

# Но остаёмся видимыми в ИИ-поиске
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

Так вы убираете свой текст из обучения OpenAI и Meta, но сохраняете шанс попасть в ответы ChatGPT со ссылкой на вас. И GPTBot, и OAI-SearchBot заявляют, что уважают robots.txt, и управляются независимо.

Дальше — по возможностям:

• Cloudflare. Даже на бесплатном тарифе есть переключатель «AI Scrapers and Crawlers», который блокирует известных ботов в один клик. На новых доменах Cloudflare включает это по умолчанию с 2024 года; после запуска этой функции трафик Bytespider упал на 71%. В AI Crawl Control можно на каждого бота выбрать «пустить / заблокировать / брать плату за краул» (pay-per-crawl пока в бете).
• Не полагайтесь на llms.txt. Формат обсуждают, но реального потребления нет: по адаптации он стоит примерно у 10% доменов, и, как отметил Джон Мюллер из Google в июне 2025, ни одна ИИ-система его сейчас не использует. Ставить можно, рассчитывать на него — нет.
• Проверяйте по логам, а не по вере. robots.txt — добровольная договорённость; user-agent подделывается за секунду. Реальную защиту дают только серверные логи и правила на уровне CDN/WAF, где видно фактическое поведение бота.

Если хотите разобраться, каких ботов пускать под вашу контент-стратегию и как это увязать с видимостью в ИИ-поиске, — это ровно та задача, которую мы решаем в услугах по внедрению AI. Напишите нам, если нужно обсудить ваш проект — посмотрим на ваши логи и соберём политику под ваши цели.

Вирусная «31×» оказалась цифрой без источника. Но вопрос за ней — реальный: боты уже ходят по вашему сайту каждый день, и решать, кого пускать, а кого нет, лучше осознанно, а не по инерции.