Qu’est-ce que GPTBot et faut-il laisser les robots d’IA explorer votre site ?
Sergey Carp (Meknès), Cofondateur / CTO
GPTBot est le robot d’exploration (crawler) d’OpenAI, l’entreprise à l’origine de ChatGPT. Il visite les sites et collecte des contenus susceptibles de servir à entraîner les modèles d’OpenAI. Il se présente sous le user agent GPTBot : c’est le nom à utiliser pour l’autoriser ou le bloquer dans le robots.txt, et celui que vous verrez dans les journaux de votre serveur.
L’essentiel
GPTBot est le robot d’entraînement d’OpenAI, distinct d’OAI-SearchBot et de ChatGPT-User. Ouvrez aux robots de recherche, décidez pour l’entraînement, vérifiez le CDN.
OpenAI a trois robots, pas un seul
- GPTBot collecte des contenus pour l’entraînement des modèles ;
- OAI-SearchBot trouve des pages pour les résultats de recherche dans ChatGPT ;
- ChatGPT-User ouvre une page quand un utilisateur demande à ChatGPT de la consulter.
Bloquer GPTBot ne vous retire pas de la recherche de ChatGPT, et l’autoriser ne vous y fait pas entrer. Chaque robot se contrôle séparément.
Les autres robots d’IA
- Google : Google-Extended détermine si vos contenus servent à l’entraînement et à l’ancrage (grounding) de Gemini ; il n’a aucun effet sur la recherche Google.
- Anthropic : ClaudeBot, Claude-SearchBot et Claude-User.
- Perplexity : PerplexityBot et Perplexity-User.
- Microsoft : Copilot s’appuie sur Bingbot.
Par exemple, pour que vos contenus ne servent pas à l’entraînement d’OpenAI tout en restant visibles dans la recherche de ChatGPT, le robots.txt peut contenir :
User-agent: GPTBot Disallow: / User-agent: OAI-SearchBot Allow: /
Faut-il laisser les robots d’IA explorer votre site ?
- Les robots de recherche et de réponse méritent généralement d’être autorisés sur un site d’entreprise. Sinon, les assistants IA ne peuvent ni citer vos pages ni renvoyer vers elles.
- Les robots d’entraînement peuvent être autorisés ou restreints selon la politique de votre entreprise.
- Les espaces privés comme les comptes clients, les paniers et les sections d’administration doivent être fermés à tous les robots.
Ne vous arrêtez pas au robots.txt. Les pare-feu des hébergeurs et la protection anti-bots des CDN bloquent parfois les robots d’IA à l’insu du propriétaire du site. Les journaux du serveur montrent si ces robots passent réellement. Pour une analyse complète, consultez quels robots d’IA autoriser et lesquels bloquer.
Chez Référencement IA, le paramétrage de l’accès des robots d’IA fait partie de nos corrections techniques. Réservez un appel et nous vérifierons quels robots votre site refoule en ce moment.