Woordenlijst
robots.txt
Robots.txt is een tekstbestand in de root van een site dat crawlers vertelt welke paden ze mogen ophalen. Het stuurt het crawlen, niet of een pagina in zoekresultaten staat.
Elke regel noemt een crawler, of alle, en de paden die hij wel of niet mag opvragen. Nette crawlers lezen het bestand voordat ze iets anders ophalen; het kan een crawler niet dwingen te gehoorzamen en houdt niets geheim.
Een hier geblokkeerd pad kan toch als kaal adres in de resultaten staan als andere sites ernaar linken, omdat de zoekmachine de pagina nooit leest. Wil je een pagina uit de resultaten houden, gebruik dan noindex en laat de pagina crawlbaar.
Fouten zijn snel gemaakt en duur: één brede Disallow-regel kan een hele sectie verbergen, of de hele site. Het bestand na elke release controleren kost weinig.
Gidsen die het gebruiken
Waar Lastmod ernaar kijkt
Verwante termen
Zie het op je eigen site
Start de gratis proefperiode van 30 dagen. De technische controles draaien zodra Lastmod toegang heeft tot je domein en je sitemap kan lezen.
Gratis proefperiode van 30 dagen · geen creditcard · database en hosting in de EU