robots.txt w WordPress: domyślne reguły, edycja i bezpieczne przykłady
robots.txt w WordPress
robots.txt w WordPress: domyślne reguły i bezpieczne przykłady | We.Inc
Gdzie WordPress tworzy wirtualny robots.txt, jakie dokładnie linie wypisuje domyślnie rdzeń, jak zastąpić go prawdziwym plikiem lub filtrem, plus bezpieczny generator pliku.
WordPress domyślnie nie ma pliku robots.txt na dysku. Gdy ktoś żąda /robots.txt, rdzeń tworzy go w locie: User-agent: *, Disallow: /wp-admin/, Allow: /wp-admin/admin-ajax.php oraz, od wersji 5.5, linię Sitemap na stronach publicznych. Wgranie prawdziwego robots.txt do katalogu głównego strony zastępuje tę wirtualną wersję.
Co rdzeń WordPress wypisuje pod /robots.txt
Linia
Skąd pochodzi
Dlaczego
User-agent: *
do_robots()
Reguły dotyczą każdego robota
Disallow: /wp-admin/
do_robots(), ścieżka z admin_url()
Trzyma roboty z dala od kokpitu
Allow: /wp-admin/admin-ajax.php
do_robots()
Motywy i wtyczki wywołują ten plik ze stron publicznych
Sitemap: .../wp-sitemap.xml
WP_Sitemaps::add_robots() (5.5+)
Wskazuje robotom indeks mapy witryny z rdzenia; tylko na stronach publicznych
Ponieważ domyślny plik generuje kod, nie znajdziesz go w kliencie FTP ani w menedżerze plików hostingu, co dezorientuje wielu właścicieli stron. Możesz go zmienić na trzy sposoby: wgrać prawdziwy plik, pozwolić edytować go wtyczce SEO albo dodać w kodzie mały filtr. Zbuduj bezpieczną wersję w generatorze poniżej.
Otwórz w przeglądarce yoursite.com/robots.txt, aby zobaczyć, co jest teraz serwowane.
Wybierz w generatorze opcje pasujące do Twojej strony i wpisz adres mapy witryny.
Sprawdź testowe ścieżki poniżej: CSS, JavaScript i przesłane pliki powinny być oznaczone jako dozwolone.
Zapisz wynik jako robots.txt w folderze z plikiem wp-config.php albo wklej go do edytora swojej wtyczki SEO.
Nigdy nie blokuj /wp-content/ ani /wp-includes/. Tam są arkusze stylów, skrypty i obrazy Twojego motywu, a Google potrzebuje ich, aby widzieć stronę tak jak odwiedzający.
Jeśli używasz wtyczki SEO, która tworzy własną mapę witryny, wpisz w pliku adres tej mapy zamiast mapy z rdzenia.
Prawdziwy plik nadpisuje wszystko, także zmiany wtyczek działające przez wirtualny plik, więc przed użyciem edytora we wtyczce usuń stary wgrany plik.
Nie próbuj ukrywać prywatnych stron za pomocą robots.txt. Plik jest publiczny i wymienia dokładnie te ścieżki, które chciałeś ukryć.
Najczęściej zadawane pytania
Gdzie jest plik robots.txt w WordPress?
Zwykle nigdzie. Funkcja do_robots tworzy odpowiedź przy każdym żądaniu /robots.txt. Plik do edycji istnieje tylko wtedy, gdy Ty lub wtyczka wgraliście prawdziwy robots.txt do katalogu głównego.
Czy opcja Proś wyszukiwarki o nieindeksowanie witryny zmienia robots.txt?
Nie od WordPress 5.3. Artykuł o ustawieniach czytania podaje, że opcja dodaje teraz do sekcji head każdej strony metatag robots z noindex,nofollow. Do wersji 5.2 sprawiała, że robots.txt wysyłał Disallow: /.
Jak edytować robots.txt bez wtyczki?
Albo wgraj do katalogu głównego zwykły plik tekstowy o nazwie robots.txt, albo podepnij filtr robots_txt w małej wtyczce lub motywie potomnym. Filtr otrzymuje wygenerowany tekst i flagę informującą, czy strona jest publiczna.
Dlaczego mój robots.txt pokazuje coś innego niż ustawienia wtyczki?
Artykuł o ustawieniach czytania zaznacza, że wbudowane zachowanie działa tylko wtedy, gdy WordPress jest zainstalowany w katalogu głównym strony i nie istnieje plik robots.txt. Fizyczny plik, reguła na poziomie hostingu lub warstwa cache mogą serwować coś innego.
Czy w ogóle blokować /wp-admin/?
Domyślny plik już to robi i to w porządku: kokpit nie ma czego pozycjonować. Zachowaj linię Allow dla admin-ajax.php, aby publiczne funkcje, które go wywołują, nie były blokowane.
Jak powstaje wirtualny plik
WordPress kieruje /robots.txt do funkcji do_robots. Zaczyna ona wynik od User-agent: *, dodaje linię Disallow dla folderu administracyjnego i linię Allow dla admin-ajax.php, a następnie przepuszcza całość przez filtr robots_txt. Klasa WP_Sitemaps używa tego samego filtra, aby dopisać linię Sitemap, gdy strona jest publiczna.
Wtyczki podpinają się pod ten sam filtr, dlatego wtyczka SEO może pokazać edytor robots.txt bez tworzenia pliku.
Reguły warte dodania w sklepie lub na blogu
Strony wyników wyszukiwania wewnętrznego (adresy z ?s=) mogą tworzyć nieskończenie wiele ubogich stron, więc wiele witryn je blokuje. Sklepy WooCommerce często blokują strony koszyka, zamówienia i konta, które nigdy nie muszą pojawiać się w wyszukiwarce.
Trzymaj listę krótką. Każda dodatkowa linia to szansa na przypadkowe zablokowanie czegoś ważnego, a robots.txt nie jest narzędziem do ochrony prywatności.
Edytuj wirtualny plik filtrem robots_txt
Dodaj to do małej własnej wtyczki lub do functions.php motywu potomnego. Działa tylko wtedy, gdy w katalogu głównym nie ma prawdziwego robots.txt.
Dopisz reguły i własną mapę witryny
Drugi argument informuje, czy strona jest publiczna, więc kopię testową można zostawić w spokoju.
Jak wygląda domyślny plik na stronie publicznej
Wygenerowany przez rdzeń na stronie zainstalowanej w katalogu głównym domeny, z włączoną mapą witryny z rdzenia.
Generator robots.txt dla WordPress
Blokuj wyniki wyszukiwania wewnętrznego
Blokuj koszyk, zamówienie i konto WooCommerce
To kopia testowa (blokuj wszystko)
Adres mapy witryny
Twój robots.txt
Kopiuj
Skopiowano
Test Googlebota dla Twojego pliku
Tworzony w Twojej przeglądarce. Nic nie jest przesyłane ani pobierane.