Crawlbudget

Crawlbudget is het aantal pagina's dat een zoekmachine zoals Google binnen een bepaalde periode op jouw website wil en kan crawlen. Elke site krijgt een eigen crawlbudget toegewezen, gebaseerd op factoren zoals autoriteit, snelheid, foutmeldingen en hoe vaak de content wijzigt. Voor een MKB-site met 200 pagina's speelt dit nauwelijks, maar bij webshops met duizenden productpagina's of nieuwssites met dagelijkse updates bepaalt het crawlbudget of al je waardevolle content überhaupt in de index terechtkomt.

Hoe crawlbudget werkt in de praktijk

Google stuurt geautomatiseerde bots (crawlers) naar jouw site om pagina's te scannen en te indexeren. Die bots hebben een limiet: ze willen geen serverlast veroorzaken en besteden hun tijd het liefst aan pagina's die relevant zijn. Het crawlbudget bestaat uit twee componenten. Ten eerste de crawlcapaciteit: hoeveel belasting jouw server aankan zonder traag te worden. Ten tweede de crawlvraag: hoeveel interesse Google heeft in jouw content. Een trage site met veel 404-fouten en duplicate content verspilt budget aan nutteloze pagina's. Een snelle site met unieke, waardevolle content krijgt vaker en dieper bezoek. In de praktijk betekent dit dat een webshop met 5.000 producten maar 800 pagina's per week gecrawld ziet worden als de technische basis rommelig is.

Waarom crawlbudget nu meer telt dan vijf jaar geleden

Vroeger crawlde Google bijna alles, hoe groot de site ook was. Sinds 2016 communiceert Google explicieter over crawlbudget, vooral omdat het web exponentieel groeit en zoekmachines selectiever worden. Voor kleine sites (onder 1.000 pagina's) is het zelden een probleem. Maar zodra je een webshop uitbreidt met varianten, filters en categorieën, of een kennisbank met honderden artikelen beheert, loop je tegen grenzen aan. Pagina's die niet gecrawld worden, verschijnen niet in zoekresultaten. Volgens Google Developers is efficiënt crawlbudgetbeheer vooral cruciaal voor sites boven de 10.000 URL's of sites die dagelijks veel nieuwe pagina's toevoegen.

Wat crawlbudget oplevert voor Nederlandse webshops en contentplatformen

Als je crawlbudget slim beheert, indexeert Google sneller je nieuwe producten, blogartikelen of landingspagina's. Dat betekent kortere tijd tussen publicatie en vindbaarheid. Voor een webshop met seizoensgebonden aanbod kan dat het verschil maken tussen wel of niet meedraaien in de zoekresultaten tijdens een piekperiode. Technische optimalisatie zoals het opschonen van 404-pagina's, het blokkeren van irrelevante URL-parameters en het verbeteren van serverresponstijd verhoogt de efficiëntie. Binnen een doordachte SEO-strategie zorg je ervoor dat crawlers hun tijd besteden aan pagina's die conversie opleveren, niet aan gefilterde sorteringen of lege zoekresultaten. Monkey Vision helpt MKB-bedrijven met technische audits om crawlverspilling te identificeren en de indexatiesnelheid meetbaar te verbeteren.

Crawlbudget optimaliseren is geen doel op zich, maar een middel om ervoor te zorgen dat Google jouw waardevolle pagina's snel vindt en indexeert. Vooral bij sites met veel pagina's of frequente updates maakt efficiënt budgetbeheer het verschil tussen zichtbaarheid en onzichtbaarheid. Hieronder vier concrete situaties waarin crawlbudget-optimalisatie meetbare impact heeft.

Webshops met duizenden productvarianten en filters

Een webshop met 2.000 producten kan makkelijk 15.000 URL's genereren door filters, sorteringen en paginering. Elke combinatie van kleur, maat en prijs creëert een unieke URL. Als je niets doet, verspilt Google zijn crawlbudget aan pagina's als '/producten?filter=rood&sort=prijs-laag-hoog&page=3' terwijl jouw nieuwe collectie weken onzichtbaar blijft. De oplossing: blokkeer gefilterde URL's via robots.txt of gebruik canonical tags om duplicate content samen te voegen. Zo stuur je crawlers naar productpagina's en categorieën die conversie opleveren. Een webshop die dit aanpakt, ziet vaak binnen twee weken nieuwe producten in de index verschijnen in plaats van na een maand.

Nieuwssites en blogs met dagelijkse content-updates

Een nieuwsplatform of corporate blog publiceert dagelijks nieuwe artikelen. Google moet snel indexeren om relevant te blijven in zoekresultaten. Maar als jouw site ook oude archiefpagina's, tag-overzichten en auteurspagina's host die weinig waarde hebben, verdeel je het crawlbudget over honderden pagina's. Prioriteer door een XML-sitemap in te dienen met alleen recente artikelen en evergreen content. Gebruik de 'lastmod'-tag om Google te vertellen welke pagina's ververst zijn. Blokkeer lege tag-pagina's of auteurspagina's zonder inhoud. Zo crawlt Google eerst jouw nieuwe artikelen en wordt je vindbaarheid voor actuele zoektermen sneller.

Migraties en rebrands met URL-wijzigingen

Bij een website-migratie of rebranding veranderen vaak honderden URL's. Google moet al die nieuwe URL's opnieuw crawlen en de oude URL's uit de index verwijderen. Als je crawlbudget laag is door technische problemen of een trage server, duurt dit proces maanden in plaats van weken. Gevolg: bezoekers komen op 404-pagina's terecht, rankings dalen en omzet loopt terug. Voorkom dit door vóór de migratie je backlinks op te schonen, redirects correct in te stellen en de serversnelheid te verhogen. Dien na de migratie een bijgewerkte sitemap in en monitor via Google Search Console hoeveel pagina's per dag gecrawld worden. Monkey Vision begeleidt migraties met technische audits om crawlbudget-verspilling te voorkomen en indexatiesnelheid te verdubbelen.

Internationale sites met meerdere taalversies

Een MKB-bedrijf dat internationaal opereert, heeft vaak dezelfde content in Nederlands, Engels en Duits. Zonder juiste hreflang-tags en canonical-instellingen crawlt Google alle versies afzonderlijk, wat het budget verdeelt over duplicate content. Zorg dat elke taalversie correct getagd is en dat Google begrijpt welke versie voor welk land bedoeld is. Blokkeer eventuele automatisch gegenereerde vertalingen of test-subdomeinen. Zo besteedt Google zijn budget aan de versies die daadwerkelijk bezoekers opleveren.

Wanneer crawlbudget-optimalisatie de juiste keuze is en wanneer niet

Crawlbudget optimaliseren loont pas echt bij sites met meer dan 1.000 geïndexeerde pagina's of bij frequent wijzigende content. Heb je een website met 50 pagina's die één keer per maand bijgewerkt worden? Dan is crawlbudget geen prioriteit. Google crawlt kleine sites meestal volledig binnen een week. Focus dan eerst op on-page SEO, snelheid en contentwaarde. Crawlbudget wordt pas een bottleneck als je in Google Search Console ziet dat belangrijke pagina's weken niet gecrawld worden, of als je dagelijks nieuwe content publiceert die niet snel genoeg in de index verschijnt. In die gevallen is een technische audit de eerste stap.