WordPress robots.txt: standaardregels, bewerken en veilige voorbeelden
WordPress robots.txt
WordPress robots.txt: standaardregels en veilige voorbeelden | We.Inc
Waar WordPress zijn virtuele robots.txt maakt, de exacte standaardregels die core afdrukt, hoe u die vervangt door een echt bestand of een filter, en een veilige bestandsgenerator.
WordPress heeft standaard geen robots.txt-bestand op schijf. Als iemand /robots.txt opvraagt, bouwt core er direct een: User-agent: *, Disallow: /wp-admin/, Allow: /wp-admin/admin-ajax.php, plus sinds versie 5.5 een Sitemap-regel op openbare sites. Een echt robots.txt-bestand uploaden naar de hoofdmap van de site vervangt die virtuele versie.
Wat WordPress core afdrukt op /robots.txt
Regel
Waar het vandaan komt
Waarom
User-agent: *
do_robots()
De regels gelden voor elke crawler
Disallow: /wp-admin/
do_robots(), pad van admin_url()
Houdt crawlers uit het dashboard
Allow: /wp-admin/admin-ajax.php
do_robots()
Thema's en plugins roepen dit bestand aan vanaf openbare pagina's
Sitemap: .../wp-sitemap.xml
WP_Sitemaps::add_robots() (5.5+)
Wijst crawlers naar de sitemapindex van core; alleen op openbare sites
Omdat het standaardbestand door code wordt gegenereerd, vindt u het niet met een FTP-programma of in de bestandsbeheerder van uw hosting, wat veel site-eigenaren in verwarring brengt. U kunt het op drie manieren wijzigen: een echt bestand uploaden, een SEO-plugin het laten bewerken, of een klein filter in code toevoegen. Bouw een veilige versie met de generator hieronder.
Open uwsite.nl/robots.txt in een browser om te zien wat er nu wordt geserveerd.
Kies in de builder de opties die bij uw site passen en vul het adres van uw sitemap in.
Controleer de testpaden eronder: CSS, JavaScript en uploads moeten allemaal als toegestaan verschijnen.
Sla het resultaat op als robots.txt in de map waarin wp-config.php staat, of plak het in de editor van uw SEO-plugin.
Blokkeer nooit /wp-content/ of /wp-includes/. Daar staan de stylesheets, scripts en afbeeldingen van uw thema, en Google heeft die nodig om de pagina te zien zoals bezoekers dat doen.
Gebruikt u een SEO-plugin die een eigen sitemap schrijft, zet dan het adres van die sitemap in het bestand in plaats van dat van core.
Een echt bestand gaat boven alles, ook boven pluginbewerkingen die via het virtuele bestand werken, dus verwijder een oud geüpload bestand voordat u een plugineditor gebruikt.
Probeer geen privépagina's te verbergen met robots.txt. Het bestand is openbaar en somt precies de paden op die u verborgen wilde houden.
Veelgestelde vragen
Waar staat het robots.txt-bestand in WordPress?
Meestal nergens. De functie do_robots schrijft het antwoord telkens wanneer /robots.txt wordt opgevraagd. Alleen als u of een plugin een echt robots.txt-bestand naar de hoofdmap hebt geüpload, is er een bestand om te bewerken.
Verandert Zoekmachines ontmoedigen deze site te indexeren de robots.txt?
Niet sinds WordPress 5.3. Volgens het artikel over de leesinstellingen voegt de optie nu een robots-metatag met noindex,nofollow toe aan de head van elke pagina. Tot en met 5.2 liet die optie robots.txt Disallow: / sturen.
Hoe bewerk ik robots.txt zonder plugin?
Upload een gewoon tekstbestand met de naam robots.txt naar de hoofdmap van de site, of haak in op het robots_txt-filter in een kleine plugin of uw child theme. Het filter ontvangt de gegenereerde tekst en een vlag die aangeeft of de site openbaar is.
Waarom toont mijn robots.txt iets anders dan mijn plugininstellingen?
Het artikel over de leesinstellingen merkt op dat het ingebouwde gedrag alleen werkt als WordPress in de hoofdmap van de site is geïnstalleerd en er geen robots.txt bestaat. Een fysiek bestand, een regel op hostingniveau of een cachelaag kan iets anders serveren.
Moet ik /wp-admin/ eigenlijk wel blokkeren?
De standaard doet dat al, en dat is prima: het dashboard heeft niets om te ranken. Houd de Allow-regel voor admin-ajax.php, zodat openbare functies die het aanroepen niet worden geblokkeerd.
Hoe het virtuele bestand wordt gebouwd
WordPress stuurt /robots.txt door naar de functie do_robots. Die begint de uitvoer met User-agent: *, voegt een Disallow-regel toe voor de beheermap en een Allow-regel voor admin-ajax.php, en haalt het resultaat dan door het robots_txt-filter. De klasse WP_Sitemaps gebruikt datzelfde filter om de Sitemap-regel toe te voegen wanneer de site openbaar is.
Plugins haken in op hetzelfde filter, en daarom kan een SEO-plugin een robots.txt-editor tonen zonder een bestand aan te maken.
Regels die het toevoegen waard zijn op een webwinkel of blog
Interne zoekresultaatpagina's (adressen met ?s=) kunnen eindeloos veel dunne pagina's opleveren, dus veel sites blokkeren ze. WooCommerce-winkels blokkeren vaak de winkelwagen-, afreken- en accountpagina's, die nooit in zoekresultaten hoeven te verschijnen.
Houd de lijst kort. Elke extra regel is een kans om per ongeluk iets belangrijks te blokkeren, en robots.txt is geen privacytool.
Het virtuele bestand bewerken met het robots_txt-filter
Voeg dit toe aan een kleine eigen plugin of aan functions.php van uw child theme. Het draait alleen als er geen echt robots.txt-bestand in de hoofdmap staat.
Regels en een eigen sitemap toevoegen
Het tweede argument vertelt u of de site openbaar is, zodat een stagingkopie ongemoeid kan blijven.
Hoe de standaard eruitziet op een openbare site
Gegenereerd door core op een site die in de hoofdmap van het domein is geïnstalleerd, met de sitemap van core ingeschakeld.
WordPress robots.txt-builder
Interne zoekresultaten blokkeren
WooCommerce-winkelwagen, afrekenen en account blokkeren
Dit is een stagingkopie (alles blokkeren)
Sitemapadres
Uw robots.txt
Kopiëren
Gekopieerd
Googlebot-test tegen uw bestand
Gemaakt in uw browser. Er wordt niets geüpload of opgehaald.