GPTBot, ClaudeBot, PerplexityBot : quels robots d’IA autoriser et lesquels bloquer

Voici une histoire que nous rencontrons sans cesse lors de nos audits de visibilité IA. Une entreprise investit pendant un an dans ses contenus : articles d’experts, pages de services remises à jour, une vraie FAQ. Pourtant, elle n’apparaît jamais dans les réponses de ChatGPT ou de Perplexity. Nous ouvrons le robots.txt et découvrons une règle qui bloque tous les robots « inconnus », ajoutée il y a des années pour se protéger des scrapers. Ou bien le robots.txt est correct, mais la protection anti-bots du CDN ou une règle de blocage géographique rejette les requêtes venant de centres de données étrangers, si bien que les crawlers d’OpenAI sont refoulés. Le site existe, les contenus existent, mais pour plusieurs assistants IA, il n’existe tout simplement pas.

L’inverse arrive aussi. Un dirigeant apprend que GPTBot télécharge ses articles pour entraîner des modèles et, agacé, bloque d’un coup tous les robots d’IA, y compris ceux qui lui amènent des clients. Voyons quels robots d’IA existent, en quoi un robot d’entraînement diffère d’un robot de recherche et comment paramétrer l’accès pour ne perdre ni vos contenus ni vos clients.

Pourquoi l’IA doit pouvoir visiter votre site

Quand quelqu’un demande à ChatGPT, Claude, Gemini ou Perplexity « qui peut faire l’audit comptable d’une petite boutique en ligne », il obtient une réponse de l’IA : un texte tout prêt, avec des recommandations, des noms d’entreprises et des liens vers les sites sources. Dans les assistants conversationnels, la réponse arrive dans la discussion avec ses citations ; dans Google, elle s’affiche sous forme d’AI Overview au-dessus des résultats classiques. Les gens lisent la réponse et choisissent souvent directement à partir d’elle.

Pour rédiger cette réponse, l’IA doit lire des pages. Ces pages sont récupérées par des programmes appelés robots d’exploration (crawlers), ou bots. Chaque crawler se présente au serveur sous un nom, la chaîne user agent, et c’est ce nom que les règles du robots.txt utilisent pour l’autoriser ou le bloquer. Si le bon crawler ne peut pas ouvrir une page, l’IA ne peut pas la citer.

Trois types de robots d’IA : entraînement, recherche et requêtes des utilisateurs

Le point le plus important à comprendre : « le robot de l’IA » n’est pas un robot unique. Les grands acteurs de l’IA en exploitent plusieurs, et chacun a une mission différente.

• Les robots d’entraînement collectent des textes susceptibles de servir à entraîner les futurs modèles. Les bloquer tient vos contenus à l’écart de la « mémoire » du modèle, mais cela n’affecte généralement pas la recherche en temps réel.
• Les robots de recherche indexent les pages pour que l’IA puisse les trouver et les citer dans ses réponses. Bloquez-les, et votre site disparaît des réponses avec sources.
• Les robots agissant pour l’utilisateur ouvrent une page précise quand une personne demande dans la discussion « jette un œil à ce site », ou quand l’assistant doit vérifier une page pour répondre. Il ne s’agit pas d’une exploration de masse, mais d’une action ponctuelle au nom d’un utilisateur.

Pour un site d’entreprise, la logique est simple. Les robots de recherche et les robots agissant pour l’utilisateur doivent presque toujours être autorisés : ils apportent des mentions et des visites. Les robots d’entraînement peuvent être autorisés ou bloqués ; c’est une décision de politique d’entreprise, pas une décision marketing.

Liste des robots d’IA : qui est qui

Les noms et les rôles des crawlers évoluent de temps en temps : les entreprises ajoutent de nouveaux robots et précisent le rôle des robots existants. Voici la situation au moment de la rédaction. Avant de paramétrer quoi que ce soit, consultez la documentation destinée aux propriétaires de sites que publie chaque entreprise.

Une remarque sur Google. Google-Extended n’est pas un robot qui visite votre site ; c’est un jeton à utiliser dans le robots.txt. C’est toujours Googlebot qui explore, et le jeton indique seulement à Google si vos contenus peuvent servir à l’entraînement et à l’ancrage de Gemini. Il n’a aucun effet sur la recherche Google. Les AI Overviews reposent sur l’index de la recherche Google : vous ne pouvez donc pas vous en retirer avec Google-Extended, et bloquer Googlebot revient à quitter complètement la recherche Google.

Une remarque sur les robots agissant pour l’utilisateur. Les entreprises d’IA présentent parfois les robots qui ouvrent une page à la demande directe d’une personne comme une action de l’utilisateur plutôt que comme une exploration automatisée, et les règles du robots.txt peuvent s’appliquer à eux différemment qu’aux crawlers classiques. Perplexity-User en est un exemple. Si vous devez précisément restreindre ce type d’accès, consultez la documentation à jour de l’entreprise concernée et envisagez des règles au niveau du serveur.

GPTBot : le bloquer ou non ?

GPTBot est la question qu’on nous pose le plus, car c’est le robot d’IA le plus connu. Le point clé : GPTBot sert à l’entraînement, pas aux réponses avec sources de ChatGPT. La recherche est assurée par OAI-SearchBot, et l’ouverture de pages à la demande d’un utilisateur par ChatGPT-User. Nous détaillons le reste du fonctionnement de ChatGPT dans notre guide pour faire recommander votre entreprise dans ChatGPT.

Il reste donc trois options réfléchies :

• Tout autoriser. Le bon choix pour la plupart des entreprises de services et des boutiques en ligne : plus l’IA en sait sur votre entreprise, mieux c’est. Ces sites contiennent rarement des données uniques qui méritent d’être protégées.
• Bloquer l’entraînement, autoriser la recherche. Convient aux éditeurs, aux créateurs de contenus payants et aux détenteurs de bases de données ou de méthodes uniques. GPTBot, ClaudeBot et Google-Extended sont bloqués ; les robots de recherche et les robots agissant pour l’utilisateur sont autorisés.
• Tout bloquer sauf la recherche classique. Peut se justifier pour des portails d’entreprise privés. Pour un site qui a besoin de clients, c’est presque toujours une erreur.

Dans les journaux de votre serveur, le user agent de GPTBot est une chaîne qui contient le mot GPTBot et un lien vers une page décrivant le crawler. N’importe quel script peut falsifier cette chaîne : en cas de doute, vérifiez les requêtes à l’aide des plages d’adresses IP publiées. OpenAI et les autres entreprises d’IA les rendent publiques.

Comment bloquer les robots d’IA dans le robots.txt : exemples

Dans chaque exemple, example.com est un nom générique ; remplacez les sections techniques (espace client, panier, recherche interne) par les vôtres.

Exemple 1. Tout autoriser, bloquer les sections techniques

User-agent: *
Disallow: /account/
Disallow: /cart/
Disallow: /search/

Sitemap: https://example.com/sitemap.xml

L’option la plus simple. Il n’y a pas de groupe distinct pour les robots d’IA : ils suivent donc tous le groupe général marqué d’un astérisque.

Exemple 2. Bloquer l’entraînement, autoriser la recherche et les requêtes des utilisateurs

# Robots d’entraînement : bloqués
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Robots de recherche et robots agissant pour l’utilisateur : autorisés, sauf sections techniques
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Disallow: /account/
Disallow: /cart/
Disallow: /search/

# Tous les autres, y compris Googlebot, Bingbot et YandexBot
User-agent: *
Disallow: /account/
Disallow: /cart/
Disallow: /search/

Sitemap: https://example.com/sitemap.xml

Il y a ici un détail technique sur lequel on se trompe le plus souvent. Un crawler cherche dans le robots.txt un groupe portant son propre nom et, s’il en trouve un, il ignore le groupe général à astérisque. C’est pourquoi les règles des sections techniques doivent être répétées dans chaque groupe nommé. Sinon, l’espace client est fermé à tous, sauf à OAI-SearchBot.

Exemple 3. Une erreur fréquente

User-agent: *
Disallow: /

User-agent: Googlebot
Allow: /

Voilà à quoi ressemble « tout bloquer sauf Google ». Le site reste dans Google, mais il est totalement fermé aux crawlers qui alimentent ChatGPT, Claude et Perplexity, ainsi qu’à Bingbot, donc à Copilot aussi. Nous tombons régulièrement sur des fichiers de ce genre, et leurs propriétaires ne se souviennent généralement même pas de leur existence.

Et llms.txt dans le robots.txt ?

Il n’existe pas de directive robots.txt pour llms.txt, vous n’avez donc pas besoin de le référencer : le fichier est trouvé à son adresse standard, example.com/llms.txt. Vérifiez simplement que le robots.txt n’en bloque pas l’accès. Le contenu du fichier lui-même est détaillé dans notre guide complet de llms.txt.

Pare-feu, CDN et protection anti-bots : le blocage invisible

Le robots.txt est une demande, pas un verrou. Le vrai verrou se trouve sur votre serveur ou devant lui, et il arrête souvent précisément les robots que vous vouliez laisser entrer. Les coupables les plus fréquents :

• Les options « Bloquer les robots d’IA » de votre CDN. Certains CDN et services de sécurité proposent un réglage en un clic qui bloque les crawlers d’IA connus, et il peut être activé par défaut sur les nouveaux projets. Ces options ne distinguent pas toujours les robots d’entraînement des robots de recherche.
• La protection DDoS et les vérifications du navigateur. Un crawler ne peut pas passer une vérification JavaScript ou un CAPTCHA et reçoit une page de vérification au lieu de votre contenu.
• Le blocage géographique. Les entreprises qui ne servent qu’un seul pays bloquent parfois le trafic venant de partout ailleurs. Les crawlers d’IA fonctionnent généralement depuis des centres de données situés dans d’autres pays et sont rejetés eux aussi.
• La limitation du débit. Un crawler qui demande plusieurs pages d’affilée atteint la limite et reçoit un code 429.
• Les pare-feu applicatifs et les extensions de sécurité. Les modules de sécurité de WordPress et d’autres CMS, ainsi que les pare-feu de l’hébergeur, bloquent les user agents « suspects » d’après leurs propres listes.

La solution n’est pas de désactiver la protection, mais d’ajouter les bons crawlers à la liste d’autorisation, idéalement vérifiés par leurs plages d’adresses IP publiées plutôt que par leur seul nom. Ainsi, le vrai crawler passe, et un robot qui se fait passer pour GPTBot, non.

Comment analyser les journaux du serveur : qui vient et ce qu’il obtient

Le seul moyen fiable de connaître la vérité, c’est le journal d’accès de votre serveur. Il enregistre chaque requête : URL, code de réponse et user agent. Voici quelques commandes pour un serveur Linux sous nginx. Le chemin du journal peut être différent sur votre serveur.

# Combien de requêtes GPTBot a effectuées
grep -ci "GPTBot" /var/log/nginx/access.log

# Quels codes de réponse reçoit OAI-SearchBot
grep -i "OAI-SearchBot" /var/log/nginx/access.log | cut -d' ' -f9 | sort | uniq -c

# Quelles pages PerplexityBot a demandées
grep -i "PerplexityBot" /var/log/nginx/access.log | cut -d' ' -f7 | sort | uniq -c | sort -rn | head -20

Comment interpréter les résultats :

• Aucune requête : le crawler n’est pas encore venu, ou il est bloqué avant d’atteindre votre serveur, au niveau du CDN. Consultez les journaux de votre CDN.
• Codes 200 : tout va bien, le crawler reçoit vos pages.
• Codes 403, 429 ou 503 : le crawler arrive mais se fait rejeter. Cherchez la cause dans vos réglages de protection.
• Beaucoup de codes 301 et 404 : le crawler perd son temps sur des redirections et des liens cassés. Il est temps de faire le ménage.

Si vous n’avez pas accès au serveur, par exemple avec un créateur de sites hébergé, les rapports d’exploration de Google Search Console et de Bing Webmaster Tools aident en partie, mais ils ne disent rien des crawlers d’IA. Dans ce cas, interrogez le support de votre plateforme.

Paramétrer l’accès étape par étape

L’accès des crawlers est la première section de notre check-list du référencement IA. Sans lui, rien d’autre dans la liste ne compte.

Le résultat : votre site est ouvert aux robots qui amènent des clients

Une fois l’accès paramétré, la situation devient maîtrisable. Les robots de recherche reçoivent les pages avec un code 200, les sections techniques sont fermées à tous, la décision concernant l’entraînement des modèles est réfléchie et inscrite dans le robots.txt, et votre protection laisse passer les crawlers vérifiés tout en arrêtant les faux. Cela ne garantit pas une place dans les réponses de l’IA, mais cela supprime la raison la plus frustrante d’en être absent : « ils n’ont tout simplement pas pu entrer ».

Comment nous gérons l’accès des robots d’IA, et tout le reste

L’agence Référencement IA fait du SEO depuis 2002. Nous comptons plus de 100 clients dans le monde, des certifications Google et Yandex, et une seule équipe qui prend en charge votre site et votre visibilité dans l’IA de bout en bout. Nous optimisons pour Google AI Overviews et AI Mode, ChatGPT, Gemini, Claude, Perplexity, Microsoft Copilot et d’autres assistants IA, pour les entreprises situées à New York comme sur les marchés internationaux.

Le paramétrage de l’accès des robots d’IA fait partie des corrections techniques du site. Le service complet comprend :

• un audit de visibilité IA : robots.txt, protection du serveur, journaux, et ce que les assistants IA disent de vous et de vos concurrents ;
• la recherche de prompts : les questions que vos clients posent aux assistants IA ;
• les corrections techniques du site : accès des robots d’IA, llms.txt, balisage Schema.org, vitesse, erreurs ;
• de nouveaux contenus pensés pour les réponses de l’IA ;
• des mentions de marque sur des sites tiers ;
• la publication d’articles dans des médias externes pour renforcer l’autorité de votre entreprise et de ses experts ;
• le suivi continu de la visibilité IA.

L’IA évalue votre site dans son ensemble : nous prenons donc en charge tout le site dès le premier jour, des corrections techniques au GEO. Nous garantissons la réalisation des tâches GEO, la correction des erreurs et l’adaptation rapide de votre site aux exigences changeantes de la recherche IA, y compris aux nouveaux crawlers à mesure qu’ils apparaissent.

Le forfait mensuel est de 290 $ par mois, les 10 premières heures de travail incluses. Chaque heure supplémentaire coûte 45 $. Le travail GEO est facturé au temps passé : nous ne facturons que le travail réalisé et livré dans le mois. Ni remises ni mois gratuits.

Réservez un appel. Nous verrons quels crawlers votre site refoule en ce moment et l’ouvrirons aux assistants IA que vos clients utilisent réellement.