Kansenbibliotheek
AI-botstoegang
Je robots.txt blokkeert mogelijk de crawlers van AI-assistenten, waardoor je pagina's buiten beeld blijven voor wat zij kunnen lezen.
- Geldt voor
- De hele site
- Hoeveel werk
- Een snelle ingreep
- Eindigt in
- Bekijk het en besluit
Hoe Lastmod het vindt
Lastmod leest je robots.txt per AI-crawler, bijvoorbeeld GPTBot, ClaudeBot en PerplexityBot, en zegt welke geblokkeerd zijn.
Wat je doet
Bepaal per crawler of je hem wilt en pas dan de bijbehorende regel aan. Beide keuzes kun je vastleggen als besluit.
Hoe het werk wordt opgevolgd
Er is niets op de site om te controleren. Jij legt vast wat je besloot en waarom, en Lastmod bewaart dat met de datum.
Meer over dit probleem
Andere soorten in deze groep
Zie welke hiervan voor jouw site gelden
Start de gratis proefperiode van 30 dagen. Lastmod draait de controles en laat zien wat het vond, met het bewijs erbij.
Gratis proefperiode van 30 dagen · geen creditcard · database en hosting in de EU