Het korte antwoord
AI-bedrijven draaien drie soorten bots: zoekbots die pagina's indexeren zodat een assistent ze kan aanhalen, trainingsbots die pagina's verzamelen om modellen te trainen en fetchers die een pagina laden als een gebruiker erom vraagt. Een zoekbot blokkeren kan je uit de antwoorden van die assistent halen. Een trainingsbot blokkeren is een aparte keuze. Robots.txt is een verzoek, geen slot.
Drie soorten AI-bots
Hetzelfde bedrijf draait vaak meerdere bots met verschillende taken, en elk heeft een eigen naam in robots.txt. Ze als één groep behandelen is de meest gemaakte fout.
- Zoekbots indexeren pagina's voor een AI-zoek- of antwoordproduct. OAI-SearchBot (OpenAI), Claude-SearchBot (Anthropic) en PerplexityBot zijn voorbeelden.
- Trainingsbots verzamelen pagina's om modellen te trainen of te voeden. GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl) en Amazonbot zijn voorbeelden. Google-Extended en Applebot-Extended zijn controletokens: ze hebben geen eigen crawler en geven alleen aan of je pagina's voor AI-training gebruikt mogen worden.
- Door gebruikers gestarte fetchers laden één pagina omdat iemand een assistent ernaar vroeg. ChatGPT-User en Perplexity-User zijn voorbeelden. Meerdere aanbieders zeggen dat deze robots.txt mogelijk niet volgen.
Beslis per soort, niet per bedrijf
Wil je dat assistenten je site noemen en erheen linken, dan moeten de zoekbots toegang hebben. Er een blokkeren kan je uit de antwoorden van die assistent halen. Dat kost echt iets voor een site die gevonden wil worden.
Of je trainingsbots toestaat is een aparte beslissing over je content en je voorwaarden, en er is geen antwoord dat voor elke site klopt. Een uitgever die zijn tekst verkoopt, kan ze blokkeren. Een bedrijf dat zijn product overal uitgelegd wil zien, misschien niet. Waar het om gaat is dat het een beslissing is.
Het eigen controletoken van een zoekmachine, zoals Google-Extended, regelt het gebruik voor AI-training en heeft volgens Google geen invloed op de ranking in Google Search. Lees de eigen documentatie van de aanbieder voordat je dat voor een bot aanneemt, en reken op wijzigingen.
Hoe de regels eruitzien
Elke groep begint met een User-agent-regel met de naam van de bot, gevolgd door Allow- en Disallow-regels. Een bot volgt de meest specifieke groep die hem noemt en valt terug op de groep voor alle bots als geen enkele dat doet.
Wil je zoekbots toestaan en een trainingsbot blokkeren, schrijf dan één groep per bot. Wil je een sectie voor iedereen afschermen, zet de regel dan in de groep voor alle bots. Namen zijn niet hoofdlettergevoelig, maar de spelling telt: een regel voor GPT-Bot doet niets voor GPTBot.
- User-agent: OAI-SearchBot, daarna Allow: /
- User-agent: GPTBot, daarna Disallow: /
- User-agent: *, daarna Disallow: /admin/
Waar het bewijs ophoudt
Robots.txt is een verzoek
Een bot die de regels volgt, leest robots.txt voordat hij iets ophaalt. Niets dwingt een bot dat te doen, en niets in het bestand houdt een pagina privé. Mag een pagina niet gelezen worden, zet hem dan achter een login.
Een geblokkeerde pagina kan ook toch bekend zijn: linken andere pagina's ernaar, dan kan het adres zonder inhoud getoond worden. Wil je een pagina uit de zoekresultaten houden, dan moet de pagina bereikbaar zijn en een noindex-aanwijzing dragen. Een blokkade in robots.txt doet het omgekeerde.
De ongelukken om op te letten
De meeste blokkades die schaden zijn geen beslissingen. Een brede regel voor één bot die voor alle geldt, een stagingbestand dat naar productie is gekopieerd, een beveiligingsplugin of hostinginstelling die zonder bericht een blokkade voor AI-bots toevoegt, een Disallow: / die na een lancering bleef staan.
Controleer het bestand na elke release en controleer wat de bots echt zien: het live bestand op het adres /robots.txt, niet de versie in je repository.
Een korte checklist
Voordat je iets wijzigt:
- Open jouwsite.nl/robots.txt en lees het, ook de groepen voor specifieke bots.
- Schrijf op welke soorten bots je wilt toestaan en waarom.
- Zorg dat geen regel voor alle bots de secties blokkeert die assistenten moeten kunnen aanhalen.
- Test het live bestand na de wijziging, en opnieuw na de volgende deploy.
In Lastmod
Lastmod leest je robots.txt per AI-crawler en meldt welke geblokkeerd zijn, zodat een blokkade als beslissing zichtbaar is. Het leest het bestand en niets meer: het oordeelt niet of je een trainingsbot moet blokkeren en zegt niets over wat een bot toestaan doet voor je zichtbaarheid. Je kunt het op elke site proberen met de gratis AI-crawlercheck.