- Les robots IA se répartissent en deux familles : ceux qui collectent des pages pour entraîner les modèles et ceux qui lisent des pages pour répondre en direct à un utilisateur.
- Chaque robot se gère dans le robots.txt par un groupe de règles à son nom : GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended.
- Refuser l’entraînement tout en autorisant la recherche est possible, à condition de ne pas bloquer les robots de recherche par une règle générique.
- Le robots.txt est une consigne, pas une barrière : un pare-feu, un CDN ou un contenu chargé en JavaScript peuvent bloquer un robot que vous pensiez autoriser.
Pour gérer les robots IA, vous ajoutez dans le fichier robots.txt un groupe de règles par robot, désigné par son nom : GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, ou le jeton Google-Extended. La décision repose sur une distinction : accepter que vos pages servent à entraîner des modèles, et accepter qu’elles soient lues pour répondre à un utilisateur, sont deux choix séparés. Trois configurations couvrent la plupart des cas.
Deux familles de robots IA, deux décisions distinctes
Les robots IA se classent selon ce qu’ils font de vos pages : les uns alimentent l’entraînement des modèles, les autres servent une réponse en direct.
Les robots d’entraînement parcourent le web pour constituer les données sur lesquelles les modèles sont entraînés. GPTBot, chez OpenAI, en est l’exemple le plus connu. Les bloquer vaut pour les collectes à venir : une règle ajoutée aujourd’hui ne retire pas ce qui a déjà été collecté.
Les robots de recherche et de navigation interviennent au moment de la réponse. Certains, comme OAI-SearchBot, constituent un index consulté par la fonction de recherche du moteur. D’autres, comme ChatGPT-User, vont chercher une page parce qu’un utilisateur vient de poser une question ou de fournir une adresse.
La distinction compte parce que les conséquences diffèrent. Refuser l’entraînement est un choix sur l’usage de vos contenus. Refuser la recherche a un effet plus direct sur votre visibilité : en pratique, une page qu’un moteur ne peut pas lire a peu de chances d’être reprise comme source avec un lien. Votre marque peut encore être nommée à partir de sources tierces. Le guide du référencement IA replace ce choix dans une démarche complète.
Les robots IA documentés à connaître
Six noms suffisent pour couvrir les principaux éditeurs.
| Nom dans le robots.txt | Éditeur | Rôle |
|---|---|---|
| GPTBot | OpenAI | Entraînement des modèles |
| OAI-SearchBot | OpenAI | Recherche |
| ChatGPT-User | OpenAI | Navigation déclenchée par un utilisateur |
| ClaudeBot | Anthropic | Robot d’exploration d’Anthropic, lié à l’entraînement des modèles d’après sa documentation |
| PerplexityBot | Perplexity | Robot d’exploration du moteur de réponse Perplexity |
| Google-Extended | Jeton qui règle l’usage des contenus par les modèles IA de Google, sans effet sur l’indexation dans la recherche |
Deux précisions. Google-Extended n’est pas un robot qui visite votre site sous ce nom : c’est un jeton lu dans le robots.txt, l’exploration restant assurée par les robots habituels de Google. Par ailleurs, les éditeurs ajoutent et renomment des robots. Avant de figer une configuration, relisez la documentation de chaque éditeur.
Trois configurations types
Trois configurations répondent à trois politiques : tout ouvrir, ouvrir la recherche en refusant l’entraînement, tout fermer. Une règle de lecture à retenir d’abord : un robot applique le groupe qui porte son nom s’il existe, sinon le groupe générique User-agent: *. Les deux ne se cumulent pas.
Tout autoriser
# Aucun chemin interdit : tous les robots, IA comprises, peuvent explorer le site
User-agent: *
Disallow:
Sitemap: https://www.exemple.fr/sitemap.xml
C’est aussi le comportement par défaut en l’absence de règle. Conséquence : vos pages peuvent être lues pour répondre aux utilisateurs et être collectées pour l’entraînement. C’est la configuration la plus favorable à la visibilité.
Autoriser la recherche, refuser l’entraînement
# Entraînement des modèles : refusé
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /
# Recherche et navigation à la demande d'un utilisateur : autorisées
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
Allow: /
# Tous les autres robots, dont Googlebot : règles habituelles du site
User-agent: *
Disallow: /admin/
Conséquence : vos pages restent lisibles au moment où un moteur cherche une source, et vous signalez votre refus pour l’entraînement. Limite à connaître : chez un éditeur qui ne documente qu’un seul robot, vous ne pouvez pas séparer les deux usages. Vérifiez sa documentation avant de trancher.
Tout refuser
# Tous les robots IA documentés : accès refusé à l'ensemble du site
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: PerplexityBot
User-agent: Google-Extended
Disallow: /
Conséquence : les moteurs concernés ne lisent plus vos pages. Ils peuvent continuer à parler de votre marque à partir d’autres sites. Cette configuration ne vous retire pas de la recherche Google ni des AI Overviews, qui s’appuient sur l’index de recherche exploré par Googlebot. Pour un site qui cherche à être cité, c’est le choix le plus coûteux.
Le robots.txt est une consigne, pas une barrière
Le robots.txt indique ce que vous acceptez, il n’empêche rien techniquement. Les éditeurs cités plus haut publient les noms de leurs robots et déclarent tenir compte du fichier. Pour les requêtes déclenchées par un utilisateur, la règle appliquée peut différer d’un éditeur à l’autre : reportez-vous à leur documentation.
Deux conséquences pratiques. Un contenu qui ne doit pas être lu se protège par une authentification ou un blocage côté serveur, pas par une ligne Disallow. Et un fichier d’orientation comme llms.txt ne joue aucun rôle d’autorisation : il ne remplace pas le robots.txt.
Les autres points de blocage à vérifier
Un robots.txt ouvert ne garantit pas que les robots IA accèdent au contenu. Deux blocages surviennent en amont ou en aval du fichier.
Le pare-feu ou le CDN. Un CDN est un réseau de serveurs placé devant votre site pour le distribuer et le protéger. Certaines protections contre les robots peuvent refuser ou ralentir les robots IA, parfois par un réglage activé par défaut. Le robot reçoit alors une erreur alors que votre robots.txt l’autorise. Vérifiez ces réglages chez votre hébergeur ou votre CDN.
Le contenu chargé uniquement en JavaScript. Rien ne garantit qu’un robot IA exécute le JavaScript d’une page. Si le texte principal n’apparaît qu’après exécution d’un script, le robot peut recevoir une page presque vide. Le test est simple : affichez le code source de la page et cherchez-y une phrase de votre contenu.
Ces deux contrôles font partie de l’étape technique d’un audit GEO.
Vérifier dans les journaux serveur quels robots passent
Les journaux d’accès du serveur sont la seule preuve de ce que font réellement les robots. Chaque requête y figure avec son user-agent, le nom que le robot déclare. Une recherche sur ces noms donne le volume par robot :
# Nombre de requêtes par robot IA dans un journal d'accès
grep -oE "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|PerplexityBot" access.log | sort | uniq -c
Regardez trois choses :
- Qui passe. Un robot de recherche absent pendant plusieurs semaines signale un blocage possible.
- Le code de réponse. Un code 200 indique une page servie. Une série de 403 indique un refus côté serveur, pare-feu ou CDN.
- Les pages demandées. Elles montrent ce que les robots lisent en priorité, et les pages clés qu’ils n’atteignent jamais.
Google-Extended n’apparaîtra pas dans les journaux, puisqu’il ne correspond pas à un user-agent. Notez aussi qu’un user-agent se falsifie : certains éditeurs publient les plages d’adresses IP de leurs robots pour permettre la vérification.
Un outil peut faire ce tri. Citeme propose une analyse des robots IA : 18 robots identifiés sur le site, classés par intention, entraînement ou recherche.
Les erreurs fréquentes
Les erreurs les plus courantes viennent d’une règle trop large ou d’une confusion entre deux noms.
- Bloquer par accident avec une règle générique. Un
User-agent: *suivi deDisallow: /, oublié après une préproduction, ferme le site à tous les robots sans groupe dédié, robots de recherche IA compris. - Croire que les groupes se cumulent. Si vous créez un groupe
User-agent: GPTBot, ce robot ne lit plus le groupe générique. Les interdictions qui doivent s’appliquer à lui, par exemple sur/admin/, sont à répéter dans son groupe. - Confondre Google-Extended et Googlebot. Bloquer Google-Extended n’a pas d’effet sur l’indexation dans la recherche. Bloquer Googlebot retire vos pages de la recherche Google, et donc de l’index sur lequel s’appuient les AI Overviews.
- Bloquer GPTBot en pensant sortir de ChatGPT. GPTBot concerne l’entraînement. La recherche de ChatGPT repose sur OAI-SearchBot, réglé à part. Voir le guide du référencement ChatGPT.
- Oublier les sous-domaines. Un robots.txt vaut pour l’hôte qui le sert. Un blog sur un sous-domaine a son propre fichier.
Checklist avant de publier votre robots.txt
Sept vérifications suffisent avant la mise en ligne :
- La politique est écrite en une phrase : ce que vous autorisez pour l’entraînement, ce que vous autorisez pour la recherche.
- Chaque robot visé a son nom correctement orthographié dans un groupe.
- Aucun
Disallow: /générique ne subsiste d’une ancienne version. - Les interdictions communes sont répétées dans les groupes dédiés.
- Googlebot n’est bloqué nulle part par confusion avec Google-Extended.
- Le pare-feu et le CDN laissent passer les robots que le fichier autorise.
- Deux semaines après la mise en ligne, les journaux confirment le passage des robots de recherche avec un code 200.
Questions fréquentes
Faut-il bloquer GPTBot dans son robots.txt ?
Cela dépend de votre objectif. GPTBot est le robot d’entraînement d’OpenAI : le bloquer revient à refuser que vos pages servent à entraîner ses modèles. Ce blocage ne concerne pas OAI-SearchBot, le robot de recherche d’OpenAI, qui se règle séparément. Si vous cherchez à être cité dans les réponses, laissez au moins les robots de recherche accéder au site.
Bloquer Google-Extended fait-il disparaître mon site de Google ?
Non. Google-Extended est un jeton du robots.txt qui règle l’usage de vos contenus par les modèles IA de Google. Il n’affecte pas l’indexation dans la recherche Google, qui dépend de Googlebot. Bloquer Googlebot, en revanche, retire vos pages de la recherche.
Les robots IA respectent-ils le robots.txt ?
Les éditeurs cités dans cet article documentent leurs robots et déclarent tenir compte du robots.txt. Le fichier reste une consigne : il n’empêche pas techniquement une requête. Pour un contenu qui ne doit pas être lu, utilisez une authentification ou un blocage côté serveur.
Comment savoir quels robots IA visitent mon site ?
Consultez les journaux de votre serveur ou de votre CDN et recherchez les noms des robots dans le champ user-agent. Vous verrez les pages demandées, la fréquence et le code de réponse renvoyé. Un outil d’analyse des robots IA fait ce tri automatiquement.
Voyez si l’IA cite votre marque
Suivez vos prompts sur 10 moteurs IA, chaque jour. Les 3 premiers jours sont gratuits.