robots.txt dla botów AI: które dopuścić, a które blokować

Praktyczny przewodnik po robotach AI, które odwiedzają stronę małej firmy, do czego według właścicieli służy każdy z nich, oraz reguły robots.txt, które utrzymają Cię w odpowiedziach wyszukiwania AI, a jeśli chcesz, wyłączą udział w trenowaniu.

Firmy AI wysyłają dziś kilka różnych robotów, a każdy ma inne zadanie. Jedne zbierają dane do trenowania. Inne budują indeks wyszukiwania, do którego odpowiedzi linkują. Jeszcze inne pobierają pojedynczą stronę, bo poprosił o to użytkownik. Zablokowanie wszystkich jednym wierszem wydaje się bezpieczne, ale może po cichu usunąć firmę z odpowiedzi wyszukiwania AI, które przysyłają prawdziwych klientów.

Jak działa robots.txt

robots.txt to zwykły plik w katalogu głównym domeny. Każda grupa zaczyna się od wiersza User-agent z nazwą robota, po którym następują reguły Allow lub Disallow. Format jest ustandaryzowany w RFC 9309. To prośba, a nie zamek: renomowane roboty jej przestrzegają, ale nie chroni ona prywatnych treści, a dokumentacja Google zaznacza, że samo zablokowanie skanowania nie usuwa strony z indeksu.

Główne roboty AI i do czego według właścicieli służą

  • OAI-SearchBot (OpenAI): służy do pokazywania stron w wynikach wyszukiwania ChatGPT. Dokumentacja robotów OpenAI mówi, że strony, które go blokują, nie będą pokazywane w odpowiedziach wyszukiwania ChatGPT, choć mogą nadal pojawiać się jako zwykłe linki nawigacyjne.
  • GPTBot (OpenAI): zbiera treści, które mogą zostać użyte do trenowania modeli OpenAI. Zablokowanie go to opisany przez OpenAI sposób rezygnacji z trenowania i jest niezależne od OAI-SearchBot.
  • ChatGPT-User (OpenAI): pobiera stronę, gdy wymaga tego prośba konkretnej osoby. OpenAI zaznacza, że reguły robots.txt mogą nie dotyczyć takich wizyt inicjowanych przez użytkownika.
  • Google-Extended (Google): to nie osobny robot, lecz token produktu. Zablokowanie go mówi Google, by nie używało Twoich treści do trenowania przyszłych modeli Gemini ani do ugruntowywania odpowiedzi w niektórych innych systemach AI. Google Search Central podaje, że nie wpływa to na obecność ani pozycję w wyszukiwarce Google, a AI Overviews podlegają Googlebotowi i zwykłym ustawieniom fragmentów.
  • PerplexityBot (Perplexity): indeksuje strony na potrzeby odpowiedzi Perplexity i według dokumentacji Perplexity nie jest używany do trenowania modeli. Perplexity-User pobiera strony w imieniu użytkownika i zwykle ignoruje robots.txt.
  • Bingbot (Microsoft): zasila Bing, na którym opiera się Microsoft Copilot. Zablokowanie go usuwa Cię z obu.
  • ClaudeBot i Claude-SearchBot (Anthropic): Anthropic opisuje osobne agenty do trenowania i do wyszukiwania i deklaruje, że przestrzegają robots.txt.
  • Applebot i Applebot-Extended (Apple): Applebot obsługuje funkcje wyszukiwania w Spotlight, Siri i Safari; Applebot-Extended pozwala wyłączyć używanie treści przez Apple do trenowania modeli bazowych, bez wpływu na wyszukiwanie.

Rozsądna konfiguracja dla lokalnej firmy

Większość małych firm chce być znajdowana i wymieniana w odpowiedziach. Popularna, zrównoważona konfiguracja dopuszcza roboty wyszukiwania, a o trenowaniu decyduje osobno. Na przykład, aby pozostać w wyszukiwaniu ChatGPT i Perplexity, rezygnując z trenowania OpenAI i Google:

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Rezygnacja z trenowania to decyzja biznesowa. Obecność w danych treningowych może sprawić, że model lepiej zna Twoją nazwę; rezygnacja trzyma Twój tekst z dala od przyszłych wersji modeli. Żadna z tych decyzji nie wpływa na pozycję w wyszukiwarce Google.

Inne miejsca, w których boty bywają blokowane

Oprócz robots.txt sprawdź ustawienia CDN i zabezpieczeń. Niektóre zapory hostingowe i funkcje zarządzania botami domyślnie blokują roboty AI, co unieważnia otwarty robots.txt. Jeśli z takich korzystasz, poszukaj ustawienia dla robotów AI i potwierdź, że potrzebne Ci agenty wyszukiwania są dopuszczone.

Przetestuj plik

Otwórz yoursite.com/robots.txt w przeglądarce, by potwierdzić, że się ładuje. Google Search Console ma raport robots.txt pokazujący wersję pobraną przez Google i ewentualne błędy. Bing Webmaster Tools oferuje tester robots.txt. Sprawdź ponownie po zmianie hostingu lub instalacji wtyczki bezpieczeństwa.

Gdy właściwe boty mają do Ciebie dostęp, potrzebują stron wartych przeczytania, i tu na stronie w We.Inc pasuje SEO God Mode, który co tydzień podsuwa tematy oparte na Twoich usługach i przygotowuje wpisy do Twojej akceptacji.

Najczęściej zadawane pytania

Czy jeśli zablokuję GPTBot, zniknę z wyszukiwania ChatGPT?

Według OpenAI nie. GPTBot to robot do trenowania; wyszukiwanie ChatGPT korzysta z OAI-SearchBot. Dopuszczenie jednego i zablokowanie drugiego jest w porządku.

Czy zablokowanie Google-Extended usuwa mnie z AI Overviews?

Nie. Google podaje, że Google-Extended kontroluje wykorzystanie treści do trenowania Gemini i nie wpływa na wyszukiwarkę Google, w tym na AI Overviews, które korzystają z Googlebota.

Czy robots.txt wystarczy, by treści pozostały prywatne?

Nie. To prośba, której przestrzegają dobrze działające roboty. Wszystko, co naprawdę prywatne, wymaga logowania lub ochrony hasłem, a do wykluczania strony z wyników wyszukiwania służy noindex.

Zacznij za darmo · Bez karty kredytowej

Powiązane: Poradniki

Produkt

Dla kogo

Funkcje

Zasoby

Firma

Mapa strony