Wat is een robots.txt bestand?

Een robots.txt bestand is een van de meest basale technische SEO-instellingen op je website. Het bepaalt welke pagina's zoekmachines mogen bezoeken en welke niet.

Definitie

Een robots.txt bestand is een tekstbestand op je website dat zoekmachines vertelt welke pagina's ze wel en niet mogen crawlen. Het is een van de eerste bestanden die Google bekijkt bij het bezoeken van een website.

Hoe werkt robots.txt?

Het robots.txt bestand staat altijd in de hoofdmap van je website, op het adres "jouwsite.nl/robots.txt". Daarin geef je instructies aan zoekmachines met regels als "Disallow" om pagina's te blokkeren en "Allow" om ze toe te staan. Je kunt ook aangeven welke zoekmachines de regels moeten volgen via de "User-agent" instelling.

Een veelgebruikte toepassing is het blokkeren van beheerpagina's, inlogpagina's of interne zoekresultaten die je niet in Google wilt hebben. Zo houd je de SEO-aandacht gericht op je belangrijkste pagina's.

Wat zijn de risico's?

Een fout in robots.txt kan grote gevolgen hebben. Als je per ongeluk je hele website blokkeert voor zoekmachines, verdwijnt je site uit de zoekresultaten. Dat is een van de meest voorkomende technische SEO-fouten. Controleer het bestand daarom altijd zorgvuldig na aanpassingen.

Robots.txt blokkeert het crawlen van een pagina, maar niet het indexeren. Als andere websites linken naar een geblokkeerde pagina, kan Google die pagina toch in de zoekresultaten opnemen. Wil je een pagina volledig uit Google weren, gebruik dan een noindex-tag.

Veelgestelde vragen

Het is niet verplicht maar wel aanbevolen. Zonder robots.txt crawlt Google alle openbare pagina's van je website. Voor de meeste websites is een eenvoudig robots.txt bestand voldoende om onnodige pagina's te weren.

Typ gewoon jouwwebsite.nl/robots.txt in je browser. Als het bestand bestaat zie je de inhoud direct. Bij WordPress kun je het aanpassen via Rank Math of Yoast onder de SEO-instellingen.

Meer weten over robots.txt?

Neem contact op. Wij staan voor je klaar en geven je graag meer informatie.

Neem contact op