De robots van Google zijn dagelijks bezig met het indexeren van webpagina’s. Het crawlbudget geeft aan hoeveel van jouw pagina’s hierbij worden meegenomen. De hoogte hangt samen met de populariteit, leeftijd en activiteit van het domein.
Heb je zelf invloed op het crawlbudget?
Je kunt hier ook zelf invloed op uitoefenen. Dit doe je door je te richten op de volgende onderdelen van SEO:
- Robots.txt;
- Pagespeed;
- Canonical tags;
- HTTP statuscodes;
- Nofollow-links;
- Backlinks.
Wat is crawlen?
Dagelijks houden er een ontelbaar aantal robots zich bezig met het crawlen van websites. Ze bezoeken webpagina’s, analyseren ze en bepalen vervolgens of ze geïndexeerd moeten worden. Omdat de capaciteit van Google niet oneindig is, schrijft de zoekmachine ieder domein een bepaald crawlbudget toe. Dit is het aantal pagina’s op jouw website, dat per dag door de Googlebot bezocht wordt.
Hoe vaak wordt mijn website gecrawld?
Het crawlbudget dat Google aan een domein toedicht, is niet voor alle websites gelijk. De een wordt vaker bezocht dan de ander. Hoe hoog het crawlbudget precies is, wordt onder andere bepaald door de volgende zaken:
- Het aantal bezoekers;
- De leeftijd van het domein;
- De frequentie van aanpassingen;
- Het aantal backlinks.
Het crawlbudget ophogen
Natuurlijk wil je als ondernemer dat jouw website zo vaak mogelijk gecrawld wordt. Zo weet je namelijk 100% zeker dat al jouw belangrijke landingspagina’s geïndexeerd zijn en dat de informatie die Google over jouw bedrijf heeft up-to-date is. Gelukkig heb je zelf invloed op de hoogte van jouw crawlbudget.
Pagespeed
De laadsnelheid van jouw website bepaalt in grote mate hoe Google jou waardeert. De eerste stap om meer crawls naar jouw pagina’s te krijgen, is dan ook door jouw domein sneller te maken. Bijvoorbeeld door bestanden te comprimeren.
Robots.txt
Lang niet alle pagina’s hoeven geïndexeerd te worden. Het is dan ook zonde als deze een groot deel van het budget innemen. Om dit te voorkomen, kun je op jouw website een speciale pagina aanmaken: de robots.txt. Hierin vertel je de Googlebot – onder andere – welke pagina’s wel of niet bezocht hoeven te worden.
Canonical tag
Het komt soms voor dat bepaalde pagina’s dezelfde content laten zien. In dat geval is het niet nodig om deze beide te laten indexeren. Door een canonical tag toe te voegen, geef je aan welke de Googlebot mag negeren.
HTTP 4xx/5xx statuscodes
Een website met HTTP-errors is bijna onvermijdelijk. Toch wil je zoveel mogelijk voorkomen dat de Googlebot daar te veel aandacht aan besteed. Dit soort pagina’s kunnen je namelijk veel crawlbudget kosten. Sterker nog: de robot kan zelfs besluiten om helemaal te stoppen met crawlen. Beperk daarom het aantal pagina’s met een HTTP 4xx Client Error of een HTTP 5xx Server Error zoveel mogelijk.
Backlinks
In de voorgaande paragraaf hebben we het al even over de populariteit en backlinks van jouw website gehad. Hoe meer backlinks een website ontvangt, hoe populairder deze wordt geacht. Door meer – relevante – linkjes naar jouw website te verzamelen, help je een hoger crawlbudget in de hand.
Nofollow
In de content van jouw website zijn tientallen – dan niet honderden – linkjes verwerkt. Zitten daar een paar tussen, waarvan je liever niet hebt dat de Googlebot ze volgt? Dan kun je deze een rel=”nofollow” meegeven. De robot is dan minder snel geneigd om dit pad te volgen.
Meer informatie
Meer weten of hulp nodig bij het optimaliseren van je crawlbudget? Neem dan contact op met één van onze specialisten. Wij helpen je graag om het maximale te halen uit jouw website te halen!
Neem contact op
