Gratis tools
Check wat je robots.txt zoekmachines laat lezen
Vul je domein in. Lastmod leest je robots.txt zoals een crawler dat doet en zegt of Googlebot en de AI-crawlers erin kunnen.
Gratis check
Wat ziet een zoekmachine op je homepage?
Vul je domein in. We lezen je robots.txt, je sitemap en je homepage, en laten zien wat technisch beter kan.
Wat we bekijken
- Je robots.txtMogen zoekmachines en AI-crawlers je site lezen?
- Je sitemapKunnen zoekmachines je pagina's vinden?
- Je homepageTitle, meta description, canonical en noindex.
Eén pagina, zonder inloggen. Een scan van al je pagina's, met je Search Console-data, zit in de proefperiode.
Wat hij leest
- De regels voor Googlebot
- Je eigen Googlebot-groep als je die hebt, anders de regels onder User-agent: *. De check zegt of de hele site geblokkeerd is.
- De AI-crawlers, per aanbieder
- Per aanbieder of de zoekcrawler en de trainingscrawler zijn toegestaan of geblokkeerd, uit hetzelfde bestand.
- De sitemapregel
- Het sitemapadres dat je robots.txt noemt. Daar kijkt de check als eerste voor je sitemap.
Zo lees je de uitkomst
- Googlebot geblokkeerd
- Een regel als Disallow: / onder Googlebot of onder *, zonder iets specifiekers, sluit Google buiten van de hele site. Dit los je als eerste op.
- Deels geblokkeerd
- Sommige paden zijn dicht en andere open. Dat is gewoon bij beheerschermen en interne zoekpagina's; controleer dat er geen deel bij zit dat je gevonden wilt hebben.
- Geen robots.txt
- Een ontbrekend bestand (een 404) betekent dat alles gelezen mag worden. Een bestand dat helemaal niet te bereiken is, zegt de check niets, dus er komt geen blokkade uit.
Veelgemaakte fouten
- Disallow: / die van de testomgeving is blijven staan
- Een ontwikkelregel die samen met de site live gaat. De duurste regel in SEO, en makkelijk te missen omdat de site zelf gewoon laadt.
- robots.txt gebruiken om een pagina uit Google te houden
- Een geblokkeerde URL kan toch in de resultaten staan, zonder beschrijving. Gebruik noindex en laat de pagina leesbaar, zodat de crawler de instructie ziet.
- Het bestand op de verkeerde plek
- robots.txt werkt alleen in de root van een host: voorbeeld.nl/robots.txt. Elk subdomein heeft een eigen bestand nodig.
Wat hij niet ziet
De check leest je robots.txt, niet je CDN of firewall. Een blokkade die je daar instelt, ziet hij niet.
Vragen
Hoe check ik mijn robots.txt?
Open jouwdomein.nl/robots.txt in een browser om het bestand te lezen, of vul hier je domein in om te zien wat het betekent voor Googlebot en de AI-crawlers.
Haalt robots.txt een pagina uit Google?
Nee. Het bepaalt wat een crawler mag ophalen, niet wat geïndexeerd wordt. Een geblokkeerde pagina kan in de resultaten blijven staan; gebruik noindex om een pagina eruit te houden.
Is de check echt gratis?
Ja. Je hebt geen account nodig en er wordt niets geïnstalleerd. Hij leest één pagina en je openbare bestanden, als Lastmod-Crawler.
Lees verder
- robots.txt →
- noindex →
- XML-sitemap →
- Crawlbudget →
- Indexeerbare accountpagina's →
- AI-botstoegang →
- Pagina's niet zichtbaar in zoekresultaten →
- Sitemap opschonen →
Gidsen hierover
Andere gratis checks
Wil je de hele site laten controleren?
Start de gratis proefperiode: Lastmod scant al je pagina's en rangschikt wat het vindt.
Gratis proefperiode van 30 dagen · geen creditcard · database en hosting in de EU