SEO of zoekmachineoptimalisatie heeft zoveel veranderende onderdelen dat het soms lijkt alsof we, zodra we klaar zijn met het optimaliseren van het ene deel, terug moeten naar het andere deel waar we vorige week ook al aan hadden gewerkt.
Je kunt continu bezig zijn met het optimaliseren van de drie SEO pijlers: techniek, content en off-page. Maar de belangrijkste onderdelen zijn misschien wel de indexeerbaarheid en het crawlbudget, want die bepalen of jouw website wordt getoond in de zoekresultaten.
In deze blog bespreken we hoe zoekmachines werken, de betekentis van de termen crawlen, indexeren en ranken, het belang van crawlbudget en tot slot geven we 9 tips om de indexatie te stimuleren.
Table of Contents
Hoe werken zoekmachines?
Het is belangrijk om te weten hoe zoekmachines werken. Zoekmachines beschikken over crawlers die alle webpagina’s langsgaan op zoek naar informatie. Deze informatie wordt het opgeslagen in een database.
Als iemand een zoekopdracht uitvoert, dan zal de zoekmachine in een mum van tijd resultaten tonen die afkomstig zijn uit de genoemde database. Maar hoe weet de zoekmachine wat het beste resultaat is?
Crawlen, indexeren & ranken
Dat heeft te maken met crawlen, indexeren en ranken. Bij het crawlen van webpagina’s wordt informatie, zoals content en afbeeldingen, verzamelt en opgeslagen in de database of bibliotheek. Net als in een echte bibliotheek wordt de verkregen informatie hier gearchiveerd en geordend, bijvoorbeeld op onderwerp en zoekintentie.
Vervolgens gaat de database deze geïndexeerde informatie rangschikken in de zoekresultaten op basis van een zoekopdracht.
Wanneer je een zoekopdracht uitvoert, genereert de zoekmachine een lijst met resultaten die mogelijk antwoord geven op de zoekopdracht.
Indexeerbaarheid & crawlbudget
Klinkt alsof het wachten is tot de crawlers van de zoekmachine langs de webpagina zijn geweest om alles te crawlen, te indexeren en te ranken. Zo makkelijk is het helaas niet. Belangrijke factoren zijn de indexeerbaarheid en het crawlbudget.
Het crawlbudget bepaalt het aantal pagina’s dat de zoekmachine dagelijks kan crawlen. Als jouw crawlbudget niet optimaal is, dan zorgt dat ervoor dat niet al jouw pagina’s worden geïndexeerd en daardoor dus niet (snel) in de zoekresultaten verschijnen. We bespreken 9 tips om de indexeerbaarheid te stimuleren.
Benieuwd wat Google zelf te zeggen heeft over Crawl Budget? Bekijk dan onderstaande video!
1. Volg de crawlstatus met Google Search Console
Fouten in de crawlstatus kunnen wijzen op een dieperliggend probleem op jouw website. Het is belangrijk om elke maand de crawlstatus te controleren. Zo kun je mogelijke fouten opsporen die van invloed zijn op de algehele prestaties van jouw website. Het is letterlijk de eerste stap van SEO, want zonder dat zijn alle andere inspanningen niks waard.
Om een aantal van deze fouten te onderzoeken, kun je de URL-inspectietool gebruiken om te zien hoe Google jouw website bekijkt. In het voorbeeld hiernaast zijn er geen problemen.
Veelvoorkomende crawlfouten & oplossingen
Als jouw website de pech heeft dat er een crawlfout optreedt, kan dit een eenvoudige oplossing vereisen of wijzen op een veel groter technisch probleem.
De meest voorkomende crawlfouten zijn:
- DNS-fouten
- Server fouten
- Robots.txt-fouten
- 404 fouten
Als een pagina niet correct wordt opgehaald en weergegeven, kan dit wijzen op een diepere DNS-fout die moet worden opgelost door jouw DNS-provider.
Het oplossen van een serverfout vereist het onderzoeken van een specifieke fout. De meest voorkomende fouten zijn: time-outs, verbinding mislukt of geweigerd of geen antwoord. Meestal is een serverfout tijdelijk, hoewel je bij een aanhoudend probleem rechtstreeks contact moet opnemen met de hostingprovider.
Robots.txt-fouten kunnen problematischer zijn. Als het robots.txt-bestand een 200- of 404-fout retourneert, betekent dit dat zoekmachines problemen hebben om dit bestand op te halen. Je kunt een robots.txt indienen of het protocol helemaal vermijden. In het laatste geval kun je ervoor kiezen om handmatig pagina’s op no-index te zetten, zodat die pagina’s niet worden gecrawld en geïndexeerd.
Als je deze fouten snel oplost, zorg je ervoor dat al jouw pagina’s worden gecrawld en geïndexeerd als de crawler van de zoekmachine de volgende keer jouw website bezoekt.
2. Maak mobielvriendelijke web pagina’s
Met de mobile-first index wordt de mobiele variant als de primaire versie van jouw website gezien. Bij de mobile-first index kijkt Google dus eerst naar de mobiele variant en laat deze ook zwaarder meewegen bij de ranking.
Er zijn veel technische aanpassingen die jouw website direct mobielvriendelijker kunnen maken, waaronder:
- Responsive webdesign
- Instellen viewpoint metatag voor browsers en schermen
- Afbeeldingen optimaliseren en comprimeren voor snellere laadtijden
- De grootte van UI-elementen op de pagina verkleinen
Zorg ervoor dat je jouw website test op een mobiel platform en voer een test uit via Google PageSpeed Insights.
Paginasnelheid is een belangrijke ranking factor en kan van invloed zijn op de snelheid waarmee zoekmachines jouw website kunnen crawlen en indexeren.
Hoe Google mobile first indexing precies werkt? Martin Splitt legt het uit!
3. Content regelmatig bijwerken
Zoekmachines zullen jouw website regelmatiger crawlen als je regelmatig nieuwe content publiceert of oude content van een update voorziet. Als je op regelmatige basis content produceert geef je aan zoekmachines een signaal af dat jouw website voortdurend in beweging is en daarom vaker moet worden gecrawld om een beoogde doelgroep te bereiken.
Ook laten de laatste SEO trends zien dat het updaten van oude content steeds belangrijker zal worden. Het kan je zelfs meer SEO verkeer opleveren!
4. Dien een sitemap in
Een van de beste tips voor een goede indexatie blijft het indienen van een sitemap bij Google Search Console.
Je kunt een XML-versie maken met behulp van een sitemap generator of er handmatig een maken in Google Search Console.
In onderstaande video legt Daniel Waisberg uit wat een sitemap is, of jij er een nodig hebt en hoe je deze kan indienen bij Google search console.
5. Optimaliseer de interne linkstructuur
Het opzetten van een consistente interne linkstructuur is cruciaal om ervoor te zorgen dat jouw website niet alleen goed geïndexeerd, maar ook goed georganiseerd is. Een goede structuur zorgt ervoor dat de crawlers van de zoekmachine alle pagina’s kunnen crawlen en indexeren.
Het creëren van categorieën waar gerelateerde pagina’s onder kunnen staan, kan zoekmachines verder helpen de inhoud van pagina’s correct te begrijpen en te tonen op basis van zoekopdrachten.
Neil Patel legt uit wat je wel en niet moet doen wanneer je aan de slag gaat met interne links:
6. Diepe link naar slecht bereikbare pagina’s
Als een pagina op jouw website niet kan worden gecrawld of het duurt lang voordat deze geïndexeerd is, kun je de indexatie stimuleren door een link op een extern domein te verkrijgen.
Dit is een bijzonder nuttige strategie om nieuwe content op jouw website te promoten en deze sneller te laten indexeren. Bovendien dragen backlinks bij aan de rangschikking op bepaalde zoekwoorden.
7. Verklein bronnen op de pagina en verhoog de laadtijden
Als je zoekmachines dwingt om grote en niet-geoptimaliseerde afbeeldingen te crawlen, wordt jouw crawlbudget snel verbruikt en dat voorkomt dat de rest van de pagina’s van jouw website (regelmatig) wordt geïndexeerd.
Zoekmachines hebben ook moeite met het crawlen van bepaalde backend-elementen van jouw website. Google heeft bijvoorbeeld in het verleden moeite gehad om JavaScript te crawlen. Ook andere bronnen, zoals Flash en CSS, kunnen slecht presteren op mobiele apparaten en het crawlbudget opslokken. In zekere zin is het een verlies-verlies scenario waarbij de paginasnelheid en het crawlbudget worden opgeofferd ten koste van opdringerige elementen op de pagina.
Zorg ervoor dat je jouw webpagina optimaliseert voor snelheid, vooral via mobiel, door bronnen op de pagina, zoals afbeeldingen en video’s, te verkleinen. Je kunt ook caching en compressie inschakelen om spiders te helpen jouw website sneller te crawlen.
Waarom is de snelheid van je website belangrijk? Martin Splitt (Developer Advocate, Google) en Eric Enge (General Manager of Digital, Perficient) gaan hier dieper op in…
8. Pagina’s met noindex-tags
Een noindex-tag is een meta tag die zoekmachines vertelt om bepaalde pagina’s niet op te nemen in hun index.
In de loop van de tijd kan het zinvol zijn om een noindex-tag toe te voegen aan pagina’s op jouw website, bijvoorbeeld aan pagina’s die duplicate zijn of pagina’s die niet belangrijk genoeg zijn om opgenomen te worden in de index. Je kunt in het laatste geval denken aan een bedankpagina die volgt na een plaatsen van een bestelling.
Door op deze manier pagina’s uit te sluiten van crawlen en indexeren, zorg je ervoor dat het crawlbudget naar pagina’s gaat die wel belangrijk zijn en daarmee stimuleer je de indexatie.
9. Verwijderen van duplicate content
Het hebben van enorme hoeveelheden dubbele content kan jouw crawlsnelheid aanzienlijk vertragen en jouw crawlbudget opeten. Je kunt deze problemen oplossen door te voorkomen dat deze pagina’s worden geïndexeerd (noindex-tag) of door een canonieke-tag op de pagina te plaatsen die je wilt indexeren.
In dezelfde lijn is het de moeite waard om de metatags, zoals titel en beschrijving, van elke afzonderlijke pagina te optimaliseren, zodat je voorkomt dat zoekmachines vergelijkbare pagina’s als duplicate content beschouwen tijdens hun crawl.
Wil je weten hoe Google precies om gaat met duplicate content? Matt Cutts legt uit hoe.
Conclusie
De problemen met crawlen en indexeren hangen voor een groot deel samen met jouw eigen kennis van SEO en webdesign. Als je de hele tijd aan het sleutelen bent aan de achterkant, heb je deze problemen misschien vroegtijdig geïdentificeerd en heb je daarmee voorkomen dat ze je rankings begonnen te beïnvloeden.
Als je het niet zeker weet, voer dan een snelle scan uit in Google Search Console om te zien of je pagina’s worden bereikt door de crawlers van Google. De resultaten kunnen echt leerzaam zijn!
Deze blog is mede mogelijk gemaakt door Jeroen van Promoboer.