Gratis tools
Check welke AI-crawlers je robots.txt blokkeert
Vul je domein in en zie per aanbieder of de AI-zoekcrawler en de trainingscrawler je site kunnen lezen.
Gratis check
Wat ziet een zoekmachine op je homepage?
Vul je domein in. We lezen je robots.txt, je sitemap en je homepage, en laten zien wat technisch beter kan.
Wat we bekijken
- Je robots.txtMogen zoekmachines en AI-crawlers je site lezen?
- Je sitemapKunnen zoekmachines je pagina's vinden?
- Je homepageTitle, meta description, canonical en noindex.
Eén pagina, zonder inloggen. Een scan van al je pagina's, met je Search Console-data, zit in de proefperiode.
Wat hij leest
- Zoeken en trainen, los van elkaar
- Een aanbieder heeft vaak één crawler voor AI-zoeken en een andere voor het trainen van modellen, zoals OAI-SearchBot en GPTBot bij OpenAI, of Claude-SearchBot en ClaudeBot bij Anthropic. De check houdt ze uit elkaar.
- Toegestaan, geblokkeerd of deels
- De uitkomst per crawler, uit de regels in je robots.txt. Heeft een crawler geen eigen groep, dan gelden de regels onder User-agent: *.
- Alleen als hij het kan beoordelen
- Kon je robots.txt niet gelezen worden, dan toont de check geen AI-crawleruitkomst in plaats van een gok.
Zo lees je de uitkomst
- Trainingscrawler geblokkeerd
- Een keuze, geen fout. Veel sites blokkeren training en blijven open voor zoeken. De check meldt het zonder het een probleem te noemen.
- Zoekcrawler geblokkeerd
- Een tweede blik waard. Kan de AI-zoekcrawler van een aanbieder je pagina's niet lezen, dan kunnen de antwoorden van die aanbieder je lastiger noemen.
- Alles toegestaan
- Niets in je robots.txt houdt deze crawlers buiten. Of ze langskomen en of je genoemd wordt, is een aparte vraag die robots.txt niet beantwoordt.
Veelgemaakte fouten
- Per ongeluk blokkeren met User-agent: *
- Een brede regel voor één bot sluit de deur voor alle bots, zoekcrawlers inbegrepen.
- robots.txt zien als een slot
- Het is een verzoek dat nette crawlers volgen. Het beveiligt niets, en sommige aanbieders zeggen dat bepaalde door een gebruiker gestarte fetchers het niet volgen.
- Denken dat een blokkade je uit AI-antwoorden houdt
- Een geblokkeerde crawler kan je pagina's niet lezen, maar een assistent kan je merk nog steeds uit andere bronnen noemen.
Wat hij niet ziet
De check leest alleen robots.txt. Hij ziet niet of een crawler echt langskomt, en een blokkade die je in een CDN of firewall instelt, ziet hij niet.
Vragen
Moet ik GPTBot blokkeren?
Dat is jouw keuze. Een trainingscrawler blokkeren houdt je pagina's uit modeltraining; een zoekcrawler blokkeren kan je uit de AI-zoekantwoorden van die aanbieder houden. De check laat zien welke welke is.
Wat is het verschil tussen GPTBot en OAI-SearchBot?
OpenAI noemt GPTBot de crawler voor het trainen van zijn modellen en OAI-SearchBot die voor zoekresultaten in ChatGPT. Je kunt voor elk andere regels instellen.
Zie ik hier of AI-assistenten mij noemen?
Nee. Je ziet of de crawlers binnen mogen. Of een assistent je noemt, is een andere meting.
Lees verder
- robots.txt →
- llms.txt →
- Generative engine optimization (GEO) →
- AI Overview →
- Indexeerbare accountpagina's →
- AI-botstoegang →
- Niet bij de bronnen van het AI-overzicht →
Gidsen hierover
Andere gratis checks
Wil je de hele site laten controleren?
Start de gratis proefperiode: Lastmod scant al je pagina's en rangschikt wat het vindt.
Gratis proefperiode van 30 dagen · geen creditcard · database en hosting in de EU