Robots.txt begrijpen

Een robots.txt-bestand lijkt klein.

Vaak maar een paar regels.

Toch kan de impact groot zijn.

Met robots.txt geef je crawlers instructies over welke delen van je website ze wel of niet mogen bezoeken.

Dat klinkt simpel.

Maar juist daardoor gaat het vaak mis.

Een verkeerde robots.txt-regel kan ervoor zorgen dat Google belangrijke pagina’s niet goed kan ophalen.
Een vergeten stagingregel kan een hele site blokkeren.
En een pagina blokkeren in robots.txt betekent niet automatisch dat die pagina uit Google verdwijnt.

Robots.txt is dus geen SEO-trucje.

Het is een technisch stuurmechanisme.

Handig als je weet wat je doet.
Riskant als je het verkeerd gebruikt.

🧭 Waarom robots.txt belangrijk is voor technische SEO

Technische SEO begint bij toegang.

Kan Google je pagina’s vinden?
Mag Google ze crawlen?
Kan Google de inhoud verwerken?

Robots.txt speelt vooral bij die tweede vraag een rol.

Het bestand vertelt crawlers welke delen van je website ze wel of niet mogen crawlen.

Dat kan nuttig zijn.

Bijvoorbeeld om crawlers weg te houden bij onbelangrijke technische paden, interne zoekresultaten of URL’s die geen SEO-waarde hebben.

Maar robots.txt kan ook gevaarlijk zijn.

Een kleine fout kan grote gevolgen hebben.

Bijvoorbeeld wanneer je per ongeluk dit live zet:

User-agent: *
Disallow: /

Daarmee zeg je tegen alle crawlers:

crawl niets op deze website.

Dat wil je bijna nooit op een live website.

Daarom moet je robots.txt altijd zorgvuldig behandelen.

Niet als bijzaak.

Maar als onderdeel van de technische SEO-basis.

🤖 Wat robots.txt is

Robots.txt is een tekstbestand met instructies voor crawlers.

Het bestand staat normaal op rootniveau van een website.

Bijvoorbeeld:

https://www.voorbeeld.nl/robots.txt

Een robots.txt-bestand geldt voor de host waarop het staat. Dat betekent dat verschillende versies of subdomeinen een eigen robots.txt kunnen hebben.

Bijvoorbeeld:

https://www.voorbeeld.nl/robots.txt
https://shop.voorbeeld.nl/robots.txt

Die zijn niet automatisch hetzelfde.

Dat is belangrijk bij grotere websites, webshops, subdomeinen of internationale setups.

In robots.txt geef je regels op voor crawlers.

Bijvoorbeeld:

welke crawler je aanspreekt.
Welke paden die crawler niet mag bezoeken.
Welke uitzonderingen er zijn.
En waar eventueel de XML-sitemap staat.

Grote zoekmachines zoals Google gebruiken robots.txt om crawlregels te begrijpen.

Maar robots.txt is geen beveiliging.

Niet elke crawler hoeft zich eraan te houden. En zelfs als een crawler zich eraan houdt, blijft de URL zelf openbaar bereikbaar voor gebruikers die het adres kennen.

Als iets echt privé is, hoort het niet alleen in robots.txt te staan.

Dan moet je het afschermen.

Bijvoorbeeld met een login, serverbeveiliging of andere toegangscontrole.

🚦 Wat robots.txt wel en niet doet

Dit is het belangrijkste onderdeel van robots.txt.

Je moet precies weten wat het bestand wel doet.

En vooral wat het niet doet.

✅ Wat robots.txt wel doet

Robots.txt kan crawlers instructies geven.

Bijvoorbeeld om bepaalde paden niet te crawlen.

Je gebruikt robots.txt onder andere om:

• crawling van bepaalde paden te beperken
• crawlerverkeer te sturen
• onbelangrijke crawlgebieden minder toegankelijk te maken
• dubbele of eindeloze URL-varianten minder te laten crawlen
• crawlers te wijzen op je XML-sitemap
• te voorkomen dat crawlers tijd verspillen aan paden zonder SEO-waarde

Dat kan nuttig zijn.

Vooral bij grote websites.

Denk aan webshops met veel filters, sites met interne zoekresultaten of websites waar URL-parameters snel duizenden varianten maken.

Maar robots.txt lost niet alles op.

❌ Wat robots.txt niet doet

Robots.txt is geen beveiliging.

Iedereen kan het bestand openen.

Sterker nog: als je gevoelige paden in robots.txt zet, maak je soms juist zichtbaar dat die paden bestaan.

Robots.txt zorgt ook niet betrouwbaar dat een pagina uit Google blijft.

De kans dat Google de volledige inhoud van een geblokkeerde pagina indexeert, wordt wel kleiner, omdat Google de pagina niet mag crawlen. Maar dat betekent niet dat de URL zelf nooit in Google kan verschijnen.

Dat klinkt tegenstrijdig.

Maar het is logisch.

Als Google een URL niet mag crawlen, kan Google de inhoud van die pagina niet goed bekijken. Toch kan Google de URL soms nog kennen via externe links, interne links of andere signalen.

Dan kan een geblokkeerde URL in sommige gevallen alsnog als URL in Google verschijnen.

Zonder dat Google de inhoud heeft gecrawld.

Robots.txt doet dus niet dit:

• een pagina betrouwbaar uit Google verwijderen
• indexatie altijd voorkomen
• content beveiligen
• privé-informatie afschermen
• rankings direct verbeteren
• een pagina onzichtbaar maken voor gebruikers

Daarom is de vuistregel:

robots.txt stuur je crawling mee.

Niet indexatie.
Niet beveiliging.
Niet rankings.

🧱 Hoe een robots.txt bestand is opgebouwd

Een robots.txt-bestand bestaat uit regels.

Die regels vertellen welke crawlers welke paden wel of niet mogen crawlen.

De belangrijkste onderdelen zijn:

• User-agent
• Disallow
• Allow
• Sitemap

Een voorbeeld:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.example.com/sitemap.xml

Dit ziet er technisch uit.

Maar de basis is goed te begrijpen.

🤖 User-agent

Met User-agent geef je aan voor welke crawler de regels gelden.

Bijvoorbeeld:

User-agent: *

Het sterretje betekent:

alle crawlers.

Je kunt ook een specifieke crawler aanspreken.

Bijvoorbeeld:

User-agent: Googlebot

Dan gelden de regels alleen voor Googlebot.

In de praktijk zie je vaak User-agent: *, omdat veel regels voor alle crawlers bedoeld zijn.

⛔ Disallow

Met Disallow geef je aan welk pad niet gecrawld mag worden.

Bijvoorbeeld:

Disallow: /admin/

Dit betekent dat crawlers het pad /admin/ niet mogen crawlen.

Let op:

Disallow werkt op basis van paden.

Niet op basis van wat jij inhoudelijk belangrijk vindt.

Een kleine wijziging in een pad kan dus veel verschil maken.

Dit blokkeert bijvoorbeeld alles:

Disallow: /

Terwijl dit niets blokkeert:

Disallow:

Dat verschil is klein in tekens.

Maar enorm in impact.

✅ Allow

Met Allow kun je een uitzondering maken op een bredere blokkade.

Bijvoorbeeld:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Hier blokkeer je de map /wp-admin/, maar sta je één specifiek bestand binnen die map wel toe.

Dit zie je vaak bij WordPress-websites.

🗺️ Sitemap

Met Sitemap kun je aangeven waar je XML-sitemap staat.

Bijvoorbeeld:

Sitemap: https://www.example.com/sitemap.xml

Dit is geen crawlverbod of crawltoestemming.

Het is een verwijzing.

Je helpt crawlers de sitemap vinden, zodat ze belangrijke URL’s makkelijker kunnen ontdekken.

🔒 Wanneer gebruik je robots.txt?

Je gebruikt robots.txt wanneer je crawling bewust wilt sturen.

Niet voor elke pagina.

Niet voor elk SEO-probleem.

Maar voor situaties waarin crawlers bepaalde paden niet hoeven te bezoeken.

Bijvoorbeeld:

• admin-omgevingen
• technische systeemmappen
• interne zoekresultaten
• bepaalde sorteer- of parameter-URL’s zonder SEO-waarde
• dubbele crawlvarianten
• URL’s die oneindig veel combinaties kunnen veroorzaken
• bestanden of paden die crawlers niet nodig hebben

Maar hier hoort nuance bij.

Vooral bij filter-, sorteer- en parameter-URL’s.

🧩 Filter- en parameter-URL’s vragen nuance

Het is verleidelijk om filter- en parameter-URL’s standaard via robots.txt te blokkeren.

Maar dat is niet altijd slim.

Eerst moet je beoordelen of zo’n URL SEO-waarde heeft.

Sommige filterpagina’s wil je juist vindbaar maken.

Bijvoorbeeld:

/schoenen/dames/zwart/

Als mensen zoeken naar zwarte damesschoenen, kan zo’n pagina waardevol zijn.

Andere URL’s zijn vooral technische varianten.

Bijvoorbeeld:

/schoenen/?sort=prijs-laag-hoog

Zo’n sorteerpagina verandert meestal alleen de volgorde.

Niet het onderwerp.

In zo’n geval is een canonical naar de hoofdversie vaak logischer dan robots.txt.

Bijvoorbeeld naar:

/schoenen/

En dan zijn er nog parametercombinaties die vooral crawlruimte verspillen.

Denk aan:

• sorteringen
• trackingparameters
• sessie-ID’s
• interne zoekresultaten
• eindeloze filtercombinaties zonder zoekwaarde

Daar kan robots.txt wél nuttig zijn.

Maar vooral als crawlbeheer.

Niet als standaardoplossing.

De nuance is dus:

robots.txt gebruik je voor crawlbeheersing.
Canonical gebruik je voor dubbele of sterk vergelijkbare varianten.
Noindex gebruik je voor pagina’s die wel gecrawld mogen worden, maar niet in de index horen.
Waardevolle filterpagina’s houd je juist indexeerbaar.

🛑 Robots.txt is geen noindex

Dit is het grootste misverstand.

Veel mensen denken:

als ik een pagina blokkeer in robots.txt, komt hij niet in Google.

Maar zo werkt het niet altijd.

Robots.txt zegt tegen crawlers:

crawl deze URL niet.

Noindex zegt tegen zoekmachines:

neem deze pagina niet op in de index.

Dat zijn twee verschillende instructies.

En ze werken ook anders.

Als je een pagina blokkeert in robots.txt, kan Google die pagina niet goed crawlen.

Daarmee verklein je meestal de kans dat Google de inhoud van die pagina gebruikt. Maar je geeft geen sluitende instructie dat de URL niet in Google mag verschijnen.

Sterker nog: doordat Google de pagina niet goed mag crawlen, kan Google een noindex-tag op die pagina ook niet goed zien.

Wil je dat een pagina niet geïndexeerd wordt, dan moet Google de pagina meestal juist kunnen crawlen om de noindex-instructie te lezen.

Dat voelt misschien tegenstrijdig.

Maar het is logisch.

Je kunt een bordje niet naar binnen niet lezen als je de deur niet mag openen.

Daarom gebruik je robots.txt niet als standaardmanier om pagina’s uit Google te houden.

Voor niet-indexeren gebruik je meestal noindex.

Of je schermt de pagina echt af.

Bijvoorbeeld met een login, wachtwoord of andere toegangsbescherming.

📌 Voorbeelden van robots.txt regels

Robots.txt wordt makkelijker zodra je een paar voorbeelden ziet.

Niet om zelf blind te kopiëren.

Wel om de logica te begrijpen.

✅ Alles toestaan

User-agent: *
Disallow:

Dit betekent:

alle crawlers mogen alles crawlen.

Er staat namelijk niets achter Disallow.

🚫 Een map blokkeren

User-agent: *
Disallow: /admin/

Dit betekent:

alle crawlers mogen de map /admin/ niet crawlen.

🤖 Eén crawler aanspreken

User-agent: Googlebot
Disallow: /test/

Dit betekent:

Googlebot mag het pad /test/ niet crawlen.

Andere crawlers vallen hier niet automatisch onder, tenzij je daar aparte regels voor opneemt.

🗺️ Sitemap toevoegen

Sitemap: https://www.example.com/sitemap.xml

Dit helpt crawlers je XML-sitemap vinden.

Vaak staat deze regel onderaan het robots.txt-bestand.

🚨 Alles blokkeren

User-agent: *
Disallow: /

Dit betekent:

alle crawlers mogen niets crawlen.

Dit kan nuttig zijn op een testomgeving.

Maar op een live website is dit meestal een groot probleem.

Controleer dit dus altijd extra goed bij livegang.

⚠️ Veelgemaakte fouten met robots.txt

Robots.txt is klein.

Maar de fouten kunnen groot zijn.

Juist omdat één regel veel impact kan hebben.

❌ Per ongeluk de hele site blokkeren

Dit is de klassieker.

Een website staat tijdens ontwikkeling geblokkeerd.

Daarna gaat de site live.

Maar de blokkade blijft staan.

Bijvoorbeeld:

User-agent: *
Disallow: /

Gevolg:

Google mag de site niet crawlen.

Dat kan grote SEO-impact hebben.

❌ Robots.txt gebruiken om pagina’s uit de index te houden

Robots.txt is geen betrouwbare noindex-methode.

Als je een pagina uit Google wilt houden, gebruik dan meestal noindex of scherm de pagina af.

Blokkeren via robots.txt kan er juist voor zorgen dat Google de noindex-tag niet kan lezen.

❌ Vertrouwelijke content blokkeren in plaats van beveiligen

Robots.txt is openbaar.

Iedereen kan het bestand bekijken.

Zet daar dus geen gevoelige paden in met het idee dat ze veilig zijn.

Als iets echt privé is, moet het achter beveiliging staan.

Niet alleen achter een robots.txt-regel.

❌ Belangrijke CSS- of JavaScript-bestanden blokkeren

Google moet pagina’s goed kunnen renderen.

Daarvoor zijn vaak CSS- en JavaScript-bestanden nodig.

Als je belangrijke bestanden blokkeert, kan Google de pagina minder goed begrijpen zoals gebruikers hem zien.

Dat kan vooral bij moderne websites problemen geven.

❌ Belangrijke categorieën, blogs of productpagina’s blokkeren

Soms staat een regel te breed.

Bijvoorbeeld een blokkade op een map waar ook belangrijke SEO-pagina’s in zitten.

Dan blokkeer je niet alleen rommel.

Maar ook pagina’s die juist vindbaar moeten zijn.

Controleer dus altijd welke URL’s door een regel worden geraakt.

❌ Stagingregels live meenemen

Tijdens ontwikkeling is het logisch dat je een testomgeving niet wilt laten crawlen.

Maar bij livegang moeten die regels niet per ongeluk meegaan naar de echte website.

Dit gebeurt vaker dan je denkt.

Zeker bij migraties, redesigns of nieuwe websites.

❌ Regels toevoegen zonder te testen

Een robots.txt-regel lijkt snel toegevoegd.

Maar je moet altijd testen wat hij doet.

Blokkeer je echt alleen het pad dat je bedoelt?

Of raak je meer URL’s dan gepland?

Een kleine fout in een pad kan grote gevolgen hebben.

❌ Vergeten dat subdomeinen een eigen robots.txt kunnen hebben

Een robots.txt op je hoofddomein geldt niet automatisch voor elk subdomein.

Bijvoorbeeld:

www.example.com
shop.example.com
support.example.com

Die kunnen technisch apart behandeld worden.

Controleer dus ook subdomeinen wanneer die belangrijk zijn voor SEO.

🧪 Hoe controleer je robots.txt?

Robots.txt moet je niet alleen instellen.

Je moet het ook controleren.

Zeker na wijzigingen, migraties, CMS-updates of livegangen.

🔎 Open het bestand zelf

De eerste check is simpel.

Ga naar:

jouwdomein.nl/robots.txt

Controleer of het bestand bereikbaar is.

En kijk wat erin staat.

Let vooral op regels zoals:

Disallow: /

Of brede blokkades op belangrijke mappen.

Bijvoorbeeld:

Disallow: /blog/
Disallow: /producten/
Disallow: /categorie/

Dat kan bewust zijn.

Maar meestal wil je dit extra controleren.

🗺️ Controleer de sitemapregel

Staat er een sitemap in robots.txt?

Controleer dan of de URL klopt.

Bijvoorbeeld:

Sitemap: https://www.example.com/sitemap.xml

Een sitemapregel is handig.

Maar alleen als hij naar de juiste sitemap verwijst.

Niet naar een oude omgeving.
Niet naar een stagingdomein.
Niet naar een kapotte sitemap.

🧪 Test specifieke URL’s

Controleer niet alleen het bestand.

Controleer ook concrete URL’s.

Bijvoorbeeld:

• belangrijke categoriepagina’s
• productpagina’s
• blogartikelen
• landingspagina’s
• JavaScript- en CSS-bestanden
• filter- of parameter-URL’s
• sitemap-URL’s

De vraag is steeds:

mag Google deze URL crawlen?

En klopt dat met je bedoeling?

🧰 Gebruik Google Search Console

In Google Search Console kun je robots.txt-signalen en URL-inspectie gebruiken om te controleren of Google een URL mag crawlen.

Dat is vooral handig bij twijfel.

Bijvoorbeeld wanneer een pagina niet geïndexeerd wordt.

Of wanneer je wilt weten of een specifieke URL door robots.txt wordt geblokkeerd.

Search Console laat niet altijd alles perfect verklaren.

Maar het is wel een logische plek om te beginnen.

🕷️ Gebruik een crawltool

Een crawltool zoals Screaming Frog kan helpen om robots.txt op schaal te controleren.

Je ziet dan sneller welke URL’s wel of niet gecrawld kunnen worden.

En of belangrijke paden onverwacht geblokkeerd zijn.

Een crawltool helpt bijvoorbeeld bij het vinden van:

• belangrijke pagina’s die geblokkeerd zijn
• interne links naar geblokkeerde URL’s
• CSS- of JavaScript-bestanden die niet gecrawld mogen worden
• sitemap-URL’s die door robots.txt worden tegengehouden
• verschillen tussen testomgeving en live website
• patronen die je handmatig snel mist

Gebruik dit vooral bij grotere websites.

Of na technische wijzigingen.

Eén URL handmatig controleren is makkelijk.

Duizenden URL’s controleren vraagt om een tool.

🚀 Controleer opnieuw na livegang of migratie

Robots.txt moet altijd op je checklist staan bij:

• nieuwe websites
• redesigns
• domeinmigraties
• CMS-migraties
• staging naar live
• grote plugin- of themawijzigingen
• wijzigingen in URL-structuur

Juist op die momenten worden fouten gemaakt.

Een oude blokkade blijft staan.
Een stagingdomein staat nog in de sitemap.
Of een nieuwe map wordt breder geblokkeerd dan bedoeld.

Robots.txt is klein.

Maar bij livegang wil je hem nooit vergeten.

🧠 Hoe robots.txt samenhangt met andere technische SEO-onderdelen

Robots.txt staat niet los van de rest van technische SEO.

Het bestand raakt meerdere onderdelen tegelijk.

Robots.txt beïnvloedt crawling.
Noindex beïnvloedt indexatie.
Sitemaps helpen bij URL-ontdekking.
Canonicals helpen bij voorkeursversies.
JavaScript en CSS zijn belangrijk voor rendering.
Website structuur bepaalt welke URL’s makkelijk bereikbaar zijn.

Daarom moet je robots.txt altijd in samenhang bekijken.

Een paar voorbeelden.

Als je een pagina blokkeert die een noindex-tag bevat, kan Google die noindex mogelijk niet lezen.

Als je belangrijke JavaScript-bestanden blokkeert, kan Google de pagina mogelijk minder goed renderen.

Als je sitemap URL’s bevat die door robots.txt geblokkeerd zijn, geef je tegenstrijdige signalen.

En als je belangrijke categorieën blokkeert, helpt sterke content op die pagina’s weinig.

Robots.txt is dus geen los technisch bestandje.

Het is een poortwachter.

En die moet goed staan.

🚀 Wanneer robots.txt goed staat

Een goede robots.txt valt meestal niet op.

Hij doet stil zijn werk.

Zonder belangrijke pagina’s in de weg te zitten.

Een goede robots.txt:

• blokkeert geen belangrijke SEO-pagina’s
• stuurt crawlers weg van onnodige paden
• bevat geen gevaarlijke stagingregels
• verwijst eventueel naar de juiste sitemap
• blokkeert geen belangrijke CSS- of JavaScript-bestanden
• maakt geen privécontent veilig die eigenlijk beveiligd moet worden
• past bij de technische structuur van de website
• is getest na wijzigingen

Dat is het doel.

Niet zoveel mogelijk blokkeren.

Niet alles open laten zonder na te denken.

Maar bewust bepalen wat crawlers wel en niet hoeven te bezoeken.

Robots.txt is goed ingesteld wanneer crawlers bij de belangrijke pagina’s kunnen komen en niet onnodig verdwalen in technische ruis.

❓ Vragen beantwoord in dit artikel

👉 Volgende stap

Nu je weet hoe robots.txt crawling stuurt, is de volgende vraag:

wat doe je als een pagina wél gecrawld mag worden, maar niet in Google moet verschijnen?

Daar gaat het volgende artikel over:

Noindex, nofollow en robots meta tags.