robots.txt для ШІ-ботів: кого пускати, а кого блокувати

Практичний посібник про ШІ-роботів, які відвідують сайт малого бізнесу, для чого кожен із них потрібен за словами власника, і правила robots.txt, що залишають вас у відповідях ШІ-пошуку й дозволяють за бажання відмовитися від навчання.

Компанії ШІ тепер надсилають кілька різних роботів, і кожен має своє завдання. Одні збирають дані для навчання. Інші будують пошуковий індекс, на який посилаються відповіді. Ще інші завантажують одну сторінку, бо про це попросив користувач. Заблокувати всіх одним рядком здається безпечним, але так можна непомітно прибрати бізнес із відповідей ШІ-пошуку, які приводять справжніх клієнтів.

Як працює robots.txt

robots.txt це звичайний файл у корені вашого домену. Кожна група починається з рядка User-agent з назвою робота, а за ним ідуть правила Allow або Disallow. Формат стандартизовано в RFC 9309. Це прохання, а не замок: сумлінні роботи його дотримуються, але він не захищає приватний вміст, а документація Google зазначає, що заборона сканування сама по собі не прибирає сторінку з індексу.

Головні ШІ-роботи і що про них кажуть власники

  • OAI-SearchBot (OpenAI): потрібен, щоб показувати сайти в результатах пошуку ChatGPT. Документація OpenAI щодо роботів каже, що сайти, які його блокують, не з'являтимуться у відповідях пошуку ChatGPT, хоча можуть і далі показуватися як прості навігаційні посилання.
  • GPTBot (OpenAI): збирає вміст, який може використовуватися для навчання моделей OpenAI. Заблокувати його є задокументованим способом відмовитися від навчання, і це не залежить від OAI-SearchBot.
  • ChatGPT-User (OpenAI): завантажує сторінку, коли цього потребує запит людини. OpenAI зазначає, що правила robots.txt можуть не застосовуватися до таких візитів з ініціативи користувача.
  • Google-Extended (Google): не окремий робот, а токен продукту. Заборонивши його, ви кажете Google не використовувати ваш вміст для навчання майбутніх моделей Gemini або для заземлення в деяких інших його системах ШІ. Google Search Central каже, що це не впливає на присутність чи позиції в Google Search, а огляди ШІ регулюються Googlebot і звичайними налаштуваннями фрагментів.
  • PerplexityBot (Perplexity): індексує сторінки для відповідей Perplexity і, згідно з документацією, не використовується для навчання моделей. Perplexity-User завантажує сторінки від імені користувача і зазвичай ігнорує robots.txt.
  • Bingbot (Microsoft): наповнює Bing, на який спирається Microsoft Copilot. Заблокувавши його, ви зникнете з обох.
  • ClaudeBot і Claude-SearchBot (Anthropic): Anthropic описує окремих агентів для навчання і для пошуку та каже, що вони дотримуються robots.txt.
  • Applebot і Applebot-Extended (Apple): Applebot живить пошукові функції в Spotlight, Siri та Safari; Applebot-Extended дає змогу заборонити Apple використовувати ваш вміст для навчання базових моделей, не впливаючи на пошук.

Розумне налаштування для місцевого бізнесу

Більшість малих бізнесів хочуть, щоб їх знаходили й називали у відповідях. Поширене збалансоване налаштування дозволяє пошукових роботів, а про навчання вирішує окремо. Наприклад, щоб залишитися в пошуку ChatGPT і Perplexity, але відмовитися від навчання OpenAI та Google:

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Відмовлятися від навчання чи ні, це бізнесове рішення. Присутність у навчальних даних може зробити вашу назву знайомішою моделі; відмова не пускає ваш текст у майбутні версії моделей. Жоден варіант не впливає на позиції в Google Search.

Де ще блокують ботів

Окрім robots.txt, перевірте налаштування CDN і безпеки. Деякі файрволи хостингу та системи керування ботами за замовчуванням блокують ШІ-роботів, і це переважує відкритий robots.txt. Якщо ви таким користуєтеся, знайдіть налаштування для ШІ-роботів і переконайтеся, що потрібні пошукові агенти дозволені.

Перевірте свій файл

Відкрийте yoursite.com/robots.txt у браузері й переконайтеся, що файл завантажується. У Google Search Console є звіт robots.txt, що показує версію, яку отримав Google, і можливі помилки. Bing Webmaster Tools має інструмент перевірки robots.txt. Перевіряйте знову після зміни хостингу чи встановлення плагіна безпеки.

Щойно потрібні боти можуть до вас дістатися, їм потрібні сторінки, які варто читати, і саме тут на сайті We.Inc стає в пригоді SEO God Mode: він щотижня пропонує теми на основі ваших власних послуг і готує чернетки дописів, які ви затверджуєте.

Поширені запитання

Якщо я заблокую GPTBot, чи зникну я з пошуку ChatGPT?

За словами OpenAI, ні. GPTBot є роботом для навчання; пошук ChatGPT використовує OAI-SearchBot. Цілком нормально дозволити одного й заблокувати іншого.

Чи прибирає блокування Google-Extended мене з оглядів ШІ?

Ні. Google каже, що Google-Extended керує використанням вмісту для навчання Gemini і не впливає на Google Search, зокрема на огляди ШІ, які використовують Googlebot.

Чи достатньо robots.txt, щоб вміст залишався приватним?

Ні. Це прохання, якого дотримуються сумлінні роботи. Усе справді приватне потребує входу або захисту паролем, а щоб сторінка не потрапляла в результати пошуку, використовують noindex.

Почати безкоштовно · Банківська картка не потрібна

За темою: Посібники

Продукт

Для кого

Можливості

Ресурси

Компанія

Карта сайту