Co naprawdę robi User-agent: * z Disallow: /, dlaczego zablokowane strony mogą nadal pojawiać się w Google, czemu noindex w robots.txt jest ignorowany, plus tester reguł.
Dwie linie, User-agent: * oraz Disallow: /, proszą każdego uprzejmego robota, aby przestał pobierać jakiekolwiek strony z tego hosta. Nie usuwają one stron z wyników wyszukiwania: Google podaje, że zablokowany adres może nadal być wyświetlany bez opisu, jeśli linkują do niego inne witryny. Aby wykluczyć strony, użyj noindex albo hasła.
Porównanie sposobów na odcięcie robotów lub wyszukiwarek
robots.txt to zwykły plik tekstowy w katalogu głównym domeny, który mówi robotom, czyli programom wysyłanym przez wyszukiwarki do czytania stron, jakie ścieżki mogą pobierać. Plik blokujący wszystko jest częsty na kopiach testowych i nowych stronach, a zarazem to linia najczęściej przypadkiem pozostawiona przy starcie. Przetestuj własne reguły w testerze poniżej.
Nie. Powstrzymuje Googlebota przed czytaniem stron, ale dokumentacja Google mówi, że niedozwolony URL może nadal zostać zindeksowany i wyświetlony bez fragmentu opisu. Aby usunąć strony z wyników, pozwól Google je odwiedzić i zwracaj noindex.
Strona Google o blokowaniu indeksowania stwierdza, że reguła noindex w pliku robots.txt nie jest obsługiwana. Umieść noindex w metatagu robots w sekcji head strony albo w nagłówku odpowiedzi X-Robots-Tag dla plików takich jak PDF.
Nie. Specyfikacja robots.txt Google wymienia user-agent, allow, disallow i sitemap jako pola, które odczytuje, a crawl-delay określa jako nieobsługiwane. Blog Bing dla webmasterów podaje, że Bingbot respektuje Crawl-delay w zakresie od jednej do trzydziestu sekund.
RFC 9309 mówi, że robot musi założyć pełną blokadę, gdy plik jest nieosiągalny z powodu błędu serwera. Google wstrzymuje indeksowanie przez pierwsze 12 godzin, a potem wraca do ostatniej poprawnej kopii, więc uszkodzony plik może wstrzymać indeksowanie.
Google zwykle przechowuje plik w pamięci podręcznej do 24 godzin, a RFC 9309 mówi, że roboty nie powinny używać kopii z pamięci podręcznej dłużej. Licz się z tym, że usunięcie blokady zostanie zauważone dopiero po maksymalnie dobie.
Każdy plik poniżej trafia do katalogu głównego jednego hosta, na przykład https://staging.example.com/robots.txt.
Klasyczny plik dla strony testowej. Usuń go przed startem.
Pusta wartość Disallow niczego nie blokuje. Dodaj adres swojej mapy witryny, aby roboty znalazły każdą stronę.
Dłuższa ścieżka Allow wygrywa z jednoznakową ścieżką Disallow.
Zostaw stronę dostępną dla robotów i dodaj ten tag do jej sekcji head. Wersja z nagłówkiem odpowiedzi działa dla plików PDF i obrazów.
Twój robots.txt
Nazwa robota
Ścieżka do sprawdzenia
Wynik
Dozwolone: {p} może być indeksowane przez roboty.
Zablokowane: {p} nie może być indeksowane przez roboty.
Użyta grupa: ta, która wymienia {v}.
Użyta grupa: User-agent: * (żadna grupa nie wymienia tego robota).
Żadna grupa nie ma zastosowania, więc wszystko jest dozwolone.
Rozstrzygająca linia {n}: {v}
Żadna reguła nie pasuje do tej ścieżki, więc jest dozwolona.
Działa w Twojej przeglądarce na wklejonym tekście, zgodnie z RFC 9309. Nic nie jest pobierane ani przesyłane.
Zacznij za darmo · Bez karty kredytowej