Lastmod-Crawler

Waarom hij je site bezoekt

Klanten van Lastmod gebruiken de crawler om de pagina’s van hun eigen website te controleren: titels, beschrijvingen, links en andere technische SEO-signalen. De crawler haalt alleen websites op waarvoor de klant eigendom heeft aangetoond, via een DNS-TXT-record of als eigenaar van de site in Google Search Console, of waartoe de klant toegang heeft in Google Search Console (een Google-account met toegang tot het hele domein). Toegang is geen eigendom: zonder bewezen eigendom blijft de crawler op de twee eigen adressen van de website, het domein en de www-variant, en bezoekt hij geen ander subdomein. Hij crawlt niet het open web en volgt geen links naar andere domeinen. Hij bezoekt bovendien nooit een host met meer dan één verzoek tegelijk, hoeveel klanten die host ook hebben toegevoegd.

Zo herken je hem

Elk verzoek bevat deze User-Agent-header: Lastmod-Crawler/1.0 (+https://www.lastmod.ai/en/crawler)

Het product token is Lastmod-Crawler. We publiceren geen IP-lijst: de crawler draait op gedeelde cloudinfrastructuur zonder vaste adressen, herken hem dus aan de User-Agent.

robots.txt

De crawler haalt /robots.txt één keer per crawl op en volgt het. Hij zoekt een groep met User-agent: Lastmod-Crawler en valt terug op User-agent: * als die er niet is.

Wil je de crawler van je hele site weren, zet dan dit erin:

User-agent: Lastmod-Crawler
Disallow: /

• Allow- en Disallow-regels worden nageleefd, inclusief patronen met * en $.
• Crawl-delay wordt gerespecteerd tot maximaal 10 seconden.
• Sitemap-regels in robots.txt worden gelezen om je pagina’s te vinden.
• Is robots.txt onbereikbaar (serverfout of timeout), dan slaat de crawler die pagina’s over in plaats van te gokken; ze worden gemeld als overgeslagen, niet als mislukt. Een 4xx-antwoord, zoals 404, geldt als geen beperkingen. Ook losse paginacontroles die je zelf start, zoals een fixcontrole, volgen robots.txt, en elke redirect ook: een redirect naar een verboden pad wordt niet gevolgd.

Tempo

De crawler doet per website één verzoek tegelijk en wacht tussen verzoeken. De pauze volgt hoe snel je server antwoordt: een tragere server krijgt een langere pauze, en na een fout is de pauze weer langer. Elke crawl is begrensd in aantal pagina’s en in totale duur.

Contact

Veroorzaakt de crawler problemen, of wil je hem niet op je site? Mail support@lastmod.ai met het domein en, als je kunt, een paar logregels. We reageren zo snel mogelijk.