Przykłady sitemap.xml i robots.txt z objaśnieniami | We.Inc
Gotowe do skopiowania przykłady sitemap.xml, indeksu map witryny i robots.txt z objaśnieniem każdej linii, limity 50,000 URL i 500 KiB, reguły z symbolami wieloznacznymi i mini kreator sitemap.
Przykłady sitemap.xml i robots.txt
Plik sitemap.xml zawiera listę URL, które chcesz zaindeksować przez roboty, każdy w elemencie url z loc i opcjonalnym lastmod, do 50,000 URL lub 50 MB na plik. Plik robots.txt w katalogu głównym witryny mówi robotom, które ścieżki pominąć, za pomocą linii User-agent, Disallow i Allow, i może wskazywać na sitemap.
Najważniejsze limity i reguły
Element
Reguła
URL na sitemap
maksymalnie 50,000
Rozmiar pliku sitemap
maksymalnie 50 MB bez kompresji
Format URL w sitemapach
Pełny adres, np. https://example.com/page
Lokalizacja robots.txt
Katalog główny hosta, np. https://example.com/robots.txt
Rozmiar robots.txt czytany przez Google
500 KiB
Pola obsługiwane przez Google w robots.txt
user-agent, allow, disallow, sitemap
Generatory wypluwają plik, ale rzadko wyjaśniają, po co jest każda linia albo co się dzieje, gdy dwie reguły sobie przeczą. Każdy przykład poniżej ma objaśnienia, a kreator zamienia zwykłą listę Twoich stron w poprawną sitemap, sam zamieniając znaki specjalne na encje.
Wklej do kreatora po jednym pełnym URL w linii i wybierz datę lastmod, jeśli ją masz.
Skopiuj wygenerowany XML do pliku o nazwie sitemap.xml w katalogu głównym witryny.
Wybierz przykład robots.txt najbliższy Twojej konfiguracji i zmień ścieżki.
Dodaj linię Sitemap do robots.txt i prześlij sitemap w Search Console.
Umieszczaj tylko kanoniczne URL, które zwracają 200. Przekierowania, błędy 404 i strony z noindex w sitemap wysyłają sprzeczne sygnały.
Ustawiaj lastmod na datę, gdy główna treść naprawdę się zmieniła. Google korzysta z niej tylko wtedy, gdy jest konsekwentnie dokładna.
Google ignoruje changefreq i priority, więc możesz je pominąć.
Zablokowanie strony w robots.txt nie usuwa jej z wyszukiwarki. Aby strona nie pojawiała się w wynikach, pozwól na jej indeksowanie przez roboty i zamiast tego dodaj meta tag robots z noindex.
Najczęściej zadawane pytania
Gdzie powinien znajdować się sitemap.xml?
Działa dowolne miejsce na tym samym hoście, ale zwykle wybiera się katalog główny, bo zgodnie z protokołem sitemaps.org sitemap obejmuje na ogół tylko URL w swoim folderze lub poniżej niego. Wskaż wyszukiwarkom jego położenie linią Sitemap w robots.txt albo przesyłając go w Search Console.
Jak umieścić więcej niż 50,000 URL?
Podziel je na kilka plików sitemap i wymień te pliki w indeksie map witryny. Indeks używa elementów sitemapindex i sitemap zamiast urlset i url i może wskazywać do 50,000 map witryny.
Czy Google obsługuje Crawl-delay lub Noindex w robots.txt?
Nie. Google czyta tylko user-agent, allow, disallow i sitemap. Inne roboty mogą respektować Crawl-delay, ale Googlebot go ignoruje, a noindex musi trafić do meta tagu lub nagłówka X-Robots-Tag.
Co się dzieje, gdy do URL pasują jednocześnie Allow i Disallow?
Google wybiera najbardziej szczegółową regułę, czyli tę z najdłuższą pasującą ścieżką. Jeśli dwie pasujące reguły są równie szczegółowe, używa mniej restrykcyjnej, czyli Allow.
Czy muszę zamieniać znaki w URL w sitemap na encje?
Tak. Sitemap to XML, więc ampersand trzeba zapisać jako &, a pozostałe zarezerwowane znaki jako ich encje. Plik musi też być zakodowany w UTF-8.
Do czego służy każdy plik
Sitemap to zaproszenie: oto strony warte odwiedzenia przez roboty i daty ich ostatniej zmiany. Najbardziej pomaga nowym witrynom, dużym witrynom i stronom, do których prowadzi niewiele linków wewnętrznych.
robots.txt to zestaw instrukcji dla robotów, a nie narzędzie bezpieczeństwa. Każdy może go przeczytać, a źle zachowujące się boty go ignorują, więc nigdy nie polegaj na nim przy ukrywaniu prywatnych obszarów. Chroń je logowaniem.
Jak dopasowywane są reguły
Robot wybiera grupę, której linia User-agent pasuje do niego najdokładniej, a resztę ignoruje. Googlebot z własną grupą nie przeczyta reguł pod User-agent: *.
Ścieżki rozróżniają wielkość liter i są dopasowywane od początku. Gwiazdka oznacza dowolny ciąg znaków, a znak dolara zakotwicza koniec URL, więc Disallow: /*.pdf$ blokuje każdy plik PDF.
Przykłady sitemap
Podstawowy sitemap.xml
Deklaracja xml, urlset z przestrzenią nazw protokołu i jeden url na stronę. lastmod używa formatu daty W3C.
Indeks map witryny dla dużych witryn
Wskazuje podrzędne sitemapy. Każda z nich podlega tym samym limitom 50,000 URL i 50 MB.
Przykłady robots.txt
Zezwól na wszystko i wskaż sitemap
Puste Disallow oznacza, że nic nie jest zablokowane. To właściwy plik dla większości stron małych firm.
Sklep internetowy: pomiń koszyki, konta i kombinacje filtrów
Blokuje wzorce URL, które tworzą niekończące się duplikaty, a strony produktów i kategorii zostawia otwarte.
Zablokuj całą witrynę stagingową
Zatrzymuje przestrzegające zasad roboty na kopii testowej. Dodaj też hasło, bo ten plik tylko grzecznie prosi.
Symbole wieloznaczne dla typów plików
Znak dolara oznacza, że URL tam się kończy, więc /guide.pdf jest zablokowany, a /guide.pdf.html nie.
Która reguła wygrywa
Dopasowanie Google dla przykładowych reguł
Reguły
URL
Wynik
Dlaczego
Allow: /p i Disallow: /
Dozwolony
Allow: /folder i Disallow: /folder
Dozwolony
Równa długość, wygrywa mniej restrykcyjna
Disallow: /*.php$
Dozwolony
URL nie kończy się na .php
Disallow: /fish
Dozwolony
Ścieżki rozróżniają wielkość liter
Mini kreator sitemap
Wklej po jednym pełnym URL w linii, a kreator napisze poprawny urlset ze znakami specjalnymi zamienionymi na encje.
Twoje URL, po jednym w linii
lastmod dla wszystkich (opcjonalnie)
Uwzględniono {n} URL.
Uwzględniono {n} URL.
Pominięto linie ({n}), które nie są pełnymi adresami http ani https.