robots.txt

Robots.txt is een tekstbestand dat je in de hoofdmap van je website plaatst om zoekmachines te instrueren welke delen van je site ze wel of niet mogen indexeren. Het bestand werkt als een toegangscontrole: elke zoekmachine-bot leest dit bestand voordat hij pagina's gaat crawlen. Voor MKB-bedrijven is robots.txt vooral relevant om crawlbudget efficiënt te sturen, gevoelige pagina's af te schermen en technische SEO-problemen te voorkomen.

Hoe robots.txt werkt in de praktijk

Wanneer een zoekmachine zoals Google je website bezoekt, checkt de bot eerst of er een robots.txt-bestand bestaat op jouwdomein.nl/robots.txt. In dat bestand staan regels met 'User-agent' (welke bot), 'Disallow' (niet crawlen) en 'Allow' (wel crawlen). Een typische regel is bijvoorbeeld 'User-agent: * / Disallow: /wp-admin/', wat betekent dat alle bots de WordPress-beheerpagina's moeten overslaan. Het bestand is openbaar leesbaar, dus iedereen kan zien welke delen je afschermt. Dat maakt het geen beveiligingsmaatregel, maar een efficiëntietool. Google Developers publiceert de officiële specificatie en best practices op hun robots.txt-documentatie.

Waarom robots.txt ontstond en waarom het nu nog telt

Het Robots Exclusion Protocol ontstond in 1994 als informeel akkoord tussen website-eigenaren en zoekmachines om bandbreedte te besparen en privacy te respecteren. Destijds waren servers traag en crawlers agressief. Vandaag is het nog steeds relevant omdat Google een beperkt crawlbudget per site toekent. Als je 500 productpagina's hebt maar Google crawlt vooral je filter- en sorteerpagina's, verspil je dat budget. Met robots.txt stuur je de bot naar wat echt telt. Daarnaast voorkom je dat interne zoekresultaten, testomgevingen of dankpagina's in de index belanden, wat je duplicate content-risico verkleint.

Wat robots.txt oplevert voor technische SEO

In de praktijk zien we bij MKB-klanten vaak dat een goed ingestelde robots.txt drie directe voordelen biedt. Ten eerste: snellere indexatie van nieuwe content, omdat Google zijn crawlbudget besteedt aan relevante pagina's in plaats van aan paginering of filters. Ten tweede: minder ruis in Search Console, omdat je geen meldingen krijgt over geblokkeerde CSS of irrelevante URL's. Ten derde: betere controle over wat wel en niet vindbaar is, bijvoorbeeld door een staging-omgeving of klantportaal buiten de index te houden. Een doordachte SEO-strategie begint vaak met het opschonen van de robots.txt, zodat crawlers efficiënt je site kunnen verkennen en de juiste pagina's prioriteren.

Nu je weet wat robots.txt is en hoe het werkt, kijken we naar concrete situaties waarin MKB-bedrijven dit bestand inzetten. De kracht zit niet in het blokkeren van alles, maar in het strategisch sturen van zoekmachines naar de pagina's die conversie opleveren en het mijden van pagina's die alleen ruis veroorzaken.

Crawlbudget sturen naar commerciële pagina's

Een webshop met 800 producten en 50 filtercombinaties per categorie kan snel duizenden URL's genereren. Google crawlt niet alles in één keer. Door in robots.txt filter-URL's, sorteringen en paginering te blokkeren, dwing je de bot om eerst productpagina's en categorieën te indexeren. In de praktijk merken we dat webshops hierdoor binnen twee weken nieuwe producten sneller in de index krijgen. Een voorbeeld: een tuincentrum in Gelderland blokkeerde alle URL's met '?orderby=' en '?filter_kleur=', waardoor Google zijn budget verschoof naar seizoensproducten. Resultaat: 30% snellere indexatie van nieuwe artikelen tijdens het voorjaarsseizoen. Let op: blokkeer nooit je hoofdcategorieën of belangrijke landingspagina's, want dan verdwijn je uit Google.

Interne zoekresultaten en dankpagina's afschermen

Veel bedrijven hebben een zoekfunctie op hun site die URL's genereert zoals '/zoeken/?q=tuinstoelen'. Als Google die pagina's indexeert, concurreer je met je eigen productpagina's en lever je een slechte gebruikerservaring. Hetzelfde geldt voor dankpagina's na een formulier of bestelling: die zijn bedoeld voor één bezoeker, niet voor organisch verkeer. Door 'Disallow: /zoeken/' en 'Disallow: /bedankt/' in je robots.txt op te nemen, houd je die pagina's buiten de index. Een B2B-dienstverlener in Nijmegen zag zijn bounce rate dalen met 12% nadat hij interne zoekresultaten blokkeerde, omdat bezoekers niet meer op lege zoekpagina's landden via Google. Vergeet niet om ook je XML-sitemap te controleren: geblokkeerde URL's horen daar niet in.

Staging-omgevingen en testpagina's buiten de index houden

Ontwikkelaars werken vaak op een subdomain zoals staging.jouwbedrijf.nl of in een map zoals /test/. Als die omgeving geen wachtwoordbeveiliging heeft, kan Google hem indexeren. Dat leidt tot duplicate content en verwarring bij bezoekers die per ongeluk op de testversie landen. Door op je staging-omgeving een aparte robots.txt te plaatsen met 'User-agent: * / Disallow: /', blokkeer je alle bots. Een andere aanpak is om in je live robots.txt de map '/dev/' of '/staging/' te blokkeren. Bij webprojecten van Monkey Vision standaardiseren we dit: elke staging-omgeving krijgt een volledige Disallow, zodat klanten nooit in de problemen komen met dubbele indexatie tijdens de bouwfase.

Wanneer robots.txt de juiste keuze is en wanneer niet

Robots.txt is geschikt voor pagina's die je niet wilt laten crawlen maar die geen gevoelige informatie bevatten. Het bestand is publiek leesbaar, dus iedereen kan zien welke mappen je blokkeert. Wil je een pagina écht beveiligen? Gebruik dan wachtwoordbeveiliging of een noindex-meta-tag in combinatie met toegangscontrole. Robots.txt is ook niet geschikt als je een pagina volledig uit de index wilt verwijderen die al geïndexeerd is: dan heb je een noindex-tag of een 410-statuscode nodig. In de praktijk zie je vaak dat bedrijven robots.txt gebruiken voor privacy-gevoelige URL's, maar dat is een misverstand. Google respecteert de blokkade, maar de URL kan nog steeds in de index verschijnen als er externe links naar verwijzen. Kortom: robots.txt stuurt crawlers, maar garandeert geen privacy of volledige deindexatie.