robots.txt для ИИ-ботов: кого разрешить, а кого заблокировать

Практичное руководство по ИИ-роботам, которые заходят на сайт малого бизнеса, по тому, для чего каждый из них нужен по словам владельца, и по правилам robots.txt, которые оставляют вас в ответах ИИ-поиска и при желании исключают из обучения.

ИИ-компании теперь отправляют несколько разных роботов, и у каждого своя задача. Одни собирают данные для обучения. Другие строят поисковый индекс, на который ссылаются ответы. Третьи загружают одну страницу, потому что о ней спросил пользователь. Заблокировать всех одной строкой кажется безопасным, но так бизнес может незаметно выпасть из ответов ИИ-поиска, которые приводят реальных клиентов.

Как работает robots.txt

robots.txt это простой файл в корне вашего домена. Каждая группа начинается со строки User-agent с именем робота, за которой идут правила Allow или Disallow. Формат стандартизирован в RFC 9309. Это просьба, а не замок: добросовестные роботы её выполняют, но она не защищает закрытый контент, и документация Google отмечает, что запрет сканирования сам по себе не удаляет страницу из индекса.

Главные ИИ-роботы и что о них говорят владельцы

  • OAI-SearchBot (OpenAI): нужен, чтобы показывать сайты в результатах поиска ChatGPT. Документация OpenAI о роботах говорит, что сайты, которые его блокируют, не будут показываться в поисковых ответах ChatGPT, хотя могут появляться как простые навигационные ссылки.
  • GPTBot (OpenAI): собирает контент, который может использоваться для обучения моделей OpenAI. Его блокировка это описанный OpenAI способ отказаться от обучения, и она не зависит от OAI-SearchBot.
  • ChatGPT-User (OpenAI): загружает страницу, когда она нужна для запроса человека. OpenAI отмечает, что правила robots.txt могут не применяться к таким визитам по инициативе пользователя.
  • Google-Extended (Google): не отдельный робот, а токен продукта. Его запрет говорит Google не использовать ваш контент для обучения будущих моделей Gemini и для опоры в некоторых других ИИ-системах. Google Search Central говорит, что это не влияет на попадание и позиции в поиске Google, а AI Overviews регулируются Googlebot и обычными настройками сниппетов.
  • PerplexityBot (Perplexity): индексирует страницы для ответов Perplexity и, согласно документации Perplexity, не используется для обучения моделей. Perplexity-User загружает страницы от имени пользователя и обычно игнорирует robots.txt.
  • Bingbot (Microsoft): питает Bing, на который опирается Microsoft Copilot. Его блокировка убирает вас из обоих.
  • ClaudeBot и Claude-SearchBot (Anthropic): Anthropic описывает отдельных агентов для обучения и для поиска и говорит, что они соблюдают robots.txt.
  • Applebot и Applebot-Extended (Apple): Applebot обеспечивает поисковые функции в Spotlight, Siri и Safari; Applebot-Extended позволяет запретить Apple использовать контент для обучения её базовых моделей, не затрагивая поиск.

Разумная настройка для местного бизнеса

Большинство малых компаний хотят, чтобы их находили и называли в ответах. Распространённая сбалансированная настройка разрешает поисковых роботов, а об обучении решает отдельно. Например, чтобы остаться в поиске ChatGPT и Perplexity, но отказаться от обучения OpenAI и Google:

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Отказываться ли от обучения, это деловое решение. Присутствие в обучающих данных может сделать ваше название более знакомым модели; отказ не даёт вашему тексту попасть в будущие версии моделей. Ни то, ни другое не влияет на позиции в поиске Google.

Где ещё блокируют ботов

Проверьте не только robots.txt, но и настройки CDN и безопасности. Некоторые файрволы хостинга и функции управления ботами по умолчанию блокируют ИИ-роботов, и это перекрывает открытый robots.txt. Если вы ими пользуетесь, найдите настройку для ИИ-роботов и убедитесь, что нужные поисковые агенты разрешены.

Проверьте свой файл

Откройте yoursite.com/robots.txt в браузере и убедитесь, что он загружается. В Google Search Console есть отчёт о robots.txt, где видна версия, которую загрузил Google, и ошибки. В Bing Webmaster Tools есть инструмент проверки robots.txt. Проверяйте снова после смены хостинга или установки плагина безопасности.

Когда нужные боты могут до вас добраться, им нужны страницы, которые стоит читать, и здесь на сайте We.Inc пригодится SEO God Mode: он предлагает еженедельные темы на основе ваших услуг и готовит статьи, которые вы одобряете.

Частые вопросы

Если заблокировать GPTBot, я исчезну из поиска ChatGPT?

По словам OpenAI, нет. GPTBot это робот для обучения; поиск ChatGPT использует OAI-SearchBot. Можно разрешить одного и заблокировать другого.

Убирает ли блокировка Google-Extended меня из AI Overviews?

Нет. Google говорит, что Google-Extended управляет использованием контента для обучения Gemini и не влияет на поиск Google, включая AI Overviews, которые используют Googlebot.

Достаточно ли robots.txt, чтобы скрыть контент?

Нет. Это просьба, которую выполняют добросовестные роботы. Для действительно закрытого контента нужен вход или пароль, а чтобы убрать страницу из результатов поиска, используется noindex.

Начать бесплатно · Банковская карта не нужна

По теме: Руководства

Продукт

Для кого

Возможности

Ресурсы

Компания

Карта сайта