Crawlbudget

Voor de meeste sites is het geen knelpunt. Volgens Google speelt crawlbudget vooral bij zeer grote sites, met honderdduizenden pagina's of meer, en bij sites waarvan de inhoud vele keren per dag verandert. Een site van een paar honderd of duizend pagina's wordt meestal helemaal gecrawld.

Telt het wel, dan zit de verspilling meestal op dezelfde plekken: veel bijna gelijke URL's door filters en parameters, redirectketens, foutpagina's en sitemapregels die nergens heen leiden. Als je die opruimt, besteedt de crawler zijn bezoeken aan pagina's die je gevonden wilt hebben.

Verschijnt een nieuwe pagina traag in zoekresultaten, dan is crawlbudget zelden het eerste wat je controleert. Begin bij de vraag of de pagina gelinkt is, in de sitemap staat en niet geblokkeerd of op noindex gezet is.