Veel websites benutten het Google crawl budget niet optimaal, een belangrijk onderdeel van technische SEO. Dit budget bepaalt hoeveel URL’s Google crawlt binnen een bepaalde periode, en efficiënt gebruik vergroot de kans dat belangrijke pagina’s sneller geïndexeerd worden. Invloed op de inzet van het crawl budget is de snelheid van je server, een goed ingerichte robots.txt en het vermijden van foutpagina’s. Door dit te optimaliseren kun je Google helpen jouw website beter te crawlen en indexeren.
Bekijk hoe Google jouw crawl budget inzet in Google Search Console onder het tabje “instellingen” – “Crawlstatistieken”.
Als webdeveloper kom ik het nog vaak tegen. Website’s die niet optimaal hun crawl budget inzetten, zonde! Het Google crawl budget is misschien wel een van de meest onderschatte technische SEO onderdelen. Het crawl budget optimaal besteden speelt een belangrijke rol in hoe Google je website opneemt in de zoekresultaten. Heb jij een eigen website maar geen idee Google crawl budget is?
Simpel uitgelegd: het is het aantal URL’s die de Googlebot bereid is te crawlen binnen een bepaalde periode. Hoe efficiënter je met dit budget omgaat, hoe groter de kans dat al je belangrijke pagina’s worden gecrawld en geïndexeerd.
Het Google crawl budget is ook niet voor iedere website gelijk, de controle ligt bij Google. Of kun je misschien iets invloed hierop hebben? Ik heb een aantal dingen waarmee we Google kunnen helpen om jouw website zo optimaal mogelijk te crawlen en dus indexeren.
De Googlebot die jouw website regelmatig helemaal doorloopt om wijzigingen te ontdekken, houdt rekening met de capaciteit van je server. Google wil namelijk met het crawlen geen negatieve impact hebben op de capaciteit van jouw server. Een trage of slecht server geeft dan ook de Googlebot aan, doe rustig met crawlen, ik kan het niet aan. Een snelle server zorgt ervoor dat Google langer en dieper je website kan doorzoeken.
Blokkeer niet belangrijke pagina’s en zorg voor een logische sitemap structuur. Je kunt middels de robots.txt pagina’s uitsluiten die Google toch niet gaat opnemen in de zoekresultaten. Verspil hier dan ook geen crawl budget aan.
Veel 404 pagina’s of andere foutcodes geeft Google aan, blijf weg, je hoeft niet verder te zoeken.
Je kunt niet direct het crawl budget beheren of inzetten, maar door goed gebruik te maken van een sitemap, robots.txt en canonical tags kun je de Googlebot richting geven door je website.
Wil jij als ondernemer of online marketeer alles uit je website en online kanalen halen? Ga aan de slag met het ontwikkelen, optimaliseren, vindbaar maken en onderhouden van jouw WordPress website en het verbeteren van de gebruikerservaring voor jouw bezoekers.
Hulp nodig bij het maken, verbeteren, onderhouden of optimaliseren van jouw WordPress website of webshop?
Hulp nodig met WordPress?