Voorbeelden van sitemap.xml en robots.txt, met uitleg | We.Inc
Kopieerbare voorbeelden van sitemap.xml, sitemap-index en robots.txt met uitleg bij elke regel, de limieten van 50,000 URL's en 500 KiB, wildcardregels en een mini-sitemapbouwer.
Voorbeelden van sitemap.xml en robots.txt
Een sitemap.xml somt de URL's op die u gecrawld wilt hebben, elk in een url-element met een loc en een optionele lastmod, tot 50,000 URL's of 50 MB per bestand. Een robots.txt in de root van de site vertelt crawlers met User-agent-, Disallow- en Allow-regels welke paden ze moeten overslaan, en kan naar de sitemap verwijzen.
Belangrijkste limieten en regels
Onderdeel
Regel
URL's per sitemap
Maximaal 50,000
Bestandsgrootte sitemap
Maximaal 50 MB ongecomprimeerd
URL-formaat in sitemaps
Volledig, bijvoorbeeld https://example.com/page
Locatie van robots.txt
Root van de host, bijvoorbeeld https://example.com/robots.txt
Grootte van robots.txt die Google leest
500 KiB
Velden die Google ondersteunt in robots.txt
user-agent, allow, disallow, sitemap
Generators spugen een bestand uit, maar leggen zelden uit waarom elke regel er staat of wat er gebeurt als twee regels elkaar tegenspreken. Elk voorbeeld hieronder heeft uitleg, en de bouwer maakt van een gewone lijst met uw pagina's een geldige sitemap, waarbij speciale tekens voor u worden ge-escaped.
Plak in de bouwer één volledige URL per regel en kies een lastmod-datum als u die hebt.
Kopieer de gegenereerde XML naar een bestand met de naam sitemap.xml in de root van uw site.
Kies het robots.txt-voorbeeld dat het best bij uw situatie past en pas de paden aan.
Voeg een Sitemap-regel toe aan robots.txt en dien de sitemap in bij Search Console.
Neem alleen canonieke URL's op die 200 teruggeven. Redirects, 404's en pagina's met noindex in een sitemap geven tegenstrijdige signalen.
Zet lastmod op de datum waarop de hoofdinhoud echt is gewijzigd. Google gebruikt die alleen als hij consequent klopt.
Google negeert changefreq en priority, dus die kunt u weglaten.
Een pagina blokkeren in robots.txt haalt haar niet uit de zoekresultaten. Wilt u een pagina uit de resultaten houden, sta crawlen dan toe en voeg in plaats daarvan een robots-metatag met noindex toe.
Veelgestelde vragen
Waar hoort sitemap.xml te staan?
Overal op dezelfde host werkt, maar de root is de gebruikelijke plek, omdat een sitemap volgens het sitemaps.org-protocol over het algemeen alleen URL's in of onder de eigen map dekt. Vertel zoekmachines waar hij staat met een Sitemap-regel in robots.txt of door hem in te dienen bij Search Console.
Hoe neem ik meer dan 50,000 URL's op?
Verdeel ze over meerdere sitemapbestanden en zet die bestanden in een sitemap-index. De index gebruikt sitemapindex- en sitemap-elementen in plaats van urlset en url, en kan naar maximaal 50,000 sitemaps verwijzen.
Ondersteunt Google Crawl-delay of Noindex in robots.txt?
Nee. Google leest alleen user-agent, allow, disallow en sitemap. Andere crawlers respecteren Crawl-delay misschien, maar Googlebot negeert het, en noindex moet in een metatag of X-Robots-Tag-header staan.
Wat gebeurt er als Allow en Disallow allebei op een URL passen?
Google kiest de meest specifieke regel, dus die met het langste overeenkomende pad. Als twee passende regels even specifiek zijn, gebruikt Google de minst beperkende, en dat is Allow.
Moet ik tekens escapen in sitemap-URL's?
Ja. Een sitemap is XML, dus een ampersand moet geschreven worden als & en de andere gereserveerde tekens als hun entities. Het bestand moet ook in UTF-8 gecodeerd zijn.
Waar elk bestand voor dient
De sitemap is een uitnodiging: dit zijn de pagina's die het crawlen waard zijn en dit is wanneer ze voor het laatst zijn gewijzigd. Hij helpt het meest bij nieuwe sites, grote sites en pagina's waar weinig interne links naartoe gaan.
robots.txt is een set crawlinstructies, geen beveiligingsmiddel. Iedereen kan het lezen en slecht gedragende bots negeren het, dus vertrouw er nooit op om privégedeeltes te verbergen. Bescherm die met een login.
Hoe regels worden gematcht
Een crawler kiest de groep waarvan de User-agent-regel het meest specifiek op hem past en negeert de rest. Googlebot met een eigen groep leest de regels onder User-agent: * niet.
Paden zijn hoofdlettergevoelig en matchen vanaf het begin. Een sterretje staat voor elke reeks tekens en een dollarteken verankert het einde van de URL, dus Disallow: /*.pdf$ blokkeert elke pdf.
Sitemapvoorbeelden
Eenvoudige sitemap.xml
De xml-declaratie, de urlset met de namespace van het protocol en één url per pagina. lastmod gebruikt het W3C-datumformaat.
Sitemap-index voor grote sites
Verwijst naar onderliggende sitemaps. Elke onderliggende sitemap volgt dezelfde limiet van 50,000 URL's en 50 MB.
robots.txt-voorbeelden
Alles toestaan en naar de sitemap verwijzen
Een lege Disallow betekent dat niets wordt geblokkeerd. Dit is het juiste bestand voor de meeste sites van kleine bedrijven.
Webshop: winkelwagens, accounts en filtercombinaties overslaan
Blokkeert URL-patronen die eindeloze duplicaten opleveren, terwijl product- en categoriepagina's open blijven.
Een volledige stagingsite blokkeren
Houdt crawlers die zich aan de regels houden weg van een testkopie. Voeg ook een wachtwoord toe, want dit bestand vraagt het alleen beleefd.
Wildcards voor bestandstypen
Het dollarteken betekent dat de URL daar eindigt, dus /guide.pdf wordt geblokkeerd maar /guide.pdf.html niet.
Welke regel wint
Hoe Google voorbeeldregels matcht
Regels
URL
Resultaat
Waarom
Allow: /p en Disallow: /
Toegestaan
Allow: /folder en Disallow: /folder
Toegestaan
Even lang, de minst beperkende wint
Disallow: /*.php$
Toegestaan
De URL eindigt niet op .php
Disallow: /fish
Toegestaan
Paden zijn hoofdlettergevoelig
Mini-sitemapbouwer
Plak één volledige URL per regel en de bouwer schrijft een geldige urlset met ge-escapete speciale tekens.
Uw URL's, één per regel
lastmod voor alle URL's (optioneel)
{n} URL opgenomen.
{n} URL's opgenomen.
{n} regel(s) overgeslagen die geen volledige http- of https-URL's zijn.