Moet u AI-robots toestaan op uw site?
Gepubliceerd op
Ja voor robots die de zoekfunctie ondersteunen, als u door AI geciteerd wilt worden; het is een vrije keuze voor robots die trainingsdata verzamelen. OpenAI, Anthropic en Google scheiden deze twee toepassingen: bij OpenAI wordt een site die OAI-SearchBot blokkeert niet getoond in de zoekresultaten van ChatGPT, terwijl het blokkeren van GPTBot alleen invloed heeft op de training. Onze metingen wijzen in dezelfde richting: geen van de door ChatGPT geciteerde sites verbood OAI-SearchBot, maar 3% van hen verbood GPTBot.
Voor welk type vraag? Alles hangt af van de robot. Een zoekrobot bepaalt of uw site in de antwoorden kan verschijnen. Een trainingsrobot bepaalt of uw inhoud mag worden gebruikt om toekomstige modellen te trainen. Beide instellingen zijn onafhankelijk.
Twee families van robots, twee verschillende beslissingen
OpenAI documenteert drie robots. OAI-SearchBot dient om sites te laten verschijnen in de zoekresultaten van ChatGPT; een site die deze uitsluit, wordt niet getoond in de zoekantwoorden, hoewel deze nog wel kan verschijnen als navigatielink. GPTBot verzamelt inhoud die kan worden gebruikt om de modellen te trainen. ChatGPT-User grijpt in bij bepaalde acties van gebruikers. OpenAI geeft aan dat elke instelling onafhankelijk is: een site kan OAI-SearchBot toestaan om in de zoekopdrachten te verschijnen, terwijl GPTBot wordt verboden.
Anthropic maakt hetzelfde onderscheid. ClaudeBot verzamelt inhoud voor training; het blokkeren ervan sluit toekomstige inhoud van de site uit van de trainingsdata. Claude-SearchBot verbetert de kwaliteit van de zoekresultaten, en Claude-User heeft toegang tot sites wanneer een gebruiker een vraag stelt; het blokkeren ervan kan de zichtbaarheid van de site in de antwoorden verminderen. Bij Google bepaalt Google-Extended of de inhoud mag worden gebruikt om toekomstige Gemini-modellen te trainen, en Google benadrukt dat dit geen effect heeft op de opname van een site in Google Zoeken, noch op de ranking ervan.
Wat we hebben gemeten in de robots.txt-bestanden
We hebben het robots.txt-bestand gelezen van elke site die naar voren kwam bij de zoekopdrachten van ChatGPT, Claude en Gemini in een tiental sectoren die in het Frans werden bevraagd, op de dag van de verzameling, 10 september 2026. Eerste waarneming: de overgrote meerderheid van de sites rept niet over AI-robots. OAI-SearchBot wordt slechts door 5 tot 6% van de sites genoemd, en GPTBot door 11 tot 16%, afhankelijk van het feit of ze wel of niet werden geciteerd.
Tweede waarneming: minder dan 1% van de sites die door de zoekfunctie van ChatGPT naar voren werden gebracht, verbood OAI-SearchBot, en geen van de sites die het citeerde, wat overeenkomt met de documentatie van OpenAI. Daarentegen heeft het verbieden van training het citeren niet verhinderd: 3% van de door ChatGPT geciteerde sites verbood GPTBot, tegenover 8% van de sites die het naar voren bracht zonder ze te citeren. Bij Claude verbood 5% van de geciteerde sites ClaudeBot, tegenover 4% van de niet-geciteerde sites; bij Gemini verbood 2% van de geciteerde sites Google-Extended.
Wat deze cijfers betekenen
Het blokkeren van een trainingsrobot sluit de deur naar antwoorden niet. Sites die weigeren dat hun inhoud GPT, Claude of Gemini traint, worden nog steeds gevonden en geciteerd door deze AI's wanneer ze op het web zoeken, omdat andere robots, of de zoekmachine zelf, de pagina's op dat moment lezen.
Omgekeerd verwijdert het blokkeren van een zoekrobot de site uit de antwoorden van de betreffende AI. Bij ChatGPT is de vaststelling duidelijk: onder de sites die het citeerde, hebben we er geen enkele gevonden die OAI-SearchBot verbood. Het toestaan van deze robot is niet voldoende om geciteerd te worden; volgens OpenAI is het verbieden ervan wel voldoende om niet in de zoekantwoorden te worden getoond.
Wat dit verandert voor een bedrijf
Controleer uw robots.txt-bestand. Als u geciteerd wilt worden, laat dan de zoekrobots door: OAI-SearchBot en ChatGPT-User voor ChatGPT, Claude-SearchBot en Claude-User voor Claude, en Googlebot voor Google en de AI-antwoorden daarvan. Controleer ook of een firewall of een beschermingsdienst tegen bots ze niet blokkeert nog voordat het bestand kan worden gelezen.
Voor de trainingsrobots, GPTBot, ClaudeBot en Google-Extended, hangt de beslissing af van uw beleid omtrent het gebruik van uw inhoud, niet van uw zichtbaarheid in de antwoorden: onze metingen tonen niet aan dat het blokkeren ervan voorkomt dat u geciteerd wordt. Dit is een keuze die u met kennis van zaken moet maken, geen technische instelling om aan het toeval over te laten.
Wat we niet weten
We hebben de robots.txt-bestanden gelezen op de dag van de verzameling, zonder te controleren of de robots deze bestanden daadwerkelijk respecteren of dat een firewall ze blokkeerde. Claude-SearchBot en Claude-User maakten geen deel uit van de gelezen robots. Een ontbrekend bestand is geteld alsof het geen enkele robot vermeldde.
Bronnen
- OpenAI — indexeerrobots van OpenAI, .
- Anthropic — robots van Anthropic en blokkering door sites, .
- Google Search Central — veelvoorkomende crawlers van Google, .
- Metingen FaireDuBruit, van 4 tot 16 september 2026 — zie 'Hoe we hebben gemeten'.