O que é o GPTBot e vale a pena liberar os rastreadores de IA no seu site?
Sergey Carp de Batna, Cofundador / CTO
O GPTBot é o rastreador web da OpenAI, a empresa por trás do ChatGPT. Ele visita sites e coleta conteúdo que pode ser usado para treinar os modelos da OpenAI. Ele se identifica com o user agent GPTBot, que é o nome usado para liberá-lo ou bloqueá-lo no robots.txt e o nome que você vai ver nos logs do seu servidor.
O essencial
O GPTBot é o rastreador de treinamento da OpenAI, diferente do OAI-SearchBot e do ChatGPT-User. Libere os bots de busca, decida sobre o treinamento e veja o CDN.
A OpenAI tem três bots, não um
- o GPTBot coleta conteúdo para o treinamento dos modelos;
- o OAI-SearchBot encontra páginas para os resultados de busca no ChatGPT;
- o ChatGPT-User abre uma página quando um usuário pede ao ChatGPT que a examine.
Bloquear o GPTBot não tira você da busca do ChatGPT, e liberá-lo não coloca você lá. Cada bot é controlado separadamente.
Outros rastreadores de IA
- Google: o Google-Extended controla se o seu conteúdo é usado no treinamento e no embasamento do Gemini; não afeta a busca do Google.
- Anthropic: ClaudeBot, Claude-SearchBot e Claude-User.
- Perplexity: PerplexityBot e Perplexity-User.
- Microsoft: o Copilot se apoia no Bingbot.
Por exemplo, para manter o seu conteúdo fora do treinamento da OpenAI e continuar visível na busca do ChatGPT, o robots.txt poderia incluir:
User-agent: GPTBot Disallow: / User-agent: OAI-SearchBot Allow: /
Vale a pena liberar os rastreadores de IA no seu site?
- Os bots de busca e de resposta em geral valem a pena liberar no site de uma empresa. Caso contrário, os assistentes de IA não conseguem citar as suas páginas nem criar links para elas.
- Os bots de treinamento podem ser liberados ou restringidos conforme a política da sua empresa.
- As áreas privadas, como páginas de conta, carrinhos e seções administrativas, devem ficar fechadas para todos os bots.
Não pare no robots.txt. Firewalls de hospedagem e a proteção contra bots das CDNs às vezes bloqueiam rastreadores de IA sem que o dono do site saiba. Os logs do servidor mostram se esses bots estão mesmo conseguindo passar. Para o quadro completo, veja quais rastreadores de IA liberar e quais bloquear.
Na Otimização para IA, configurar o acesso dos rastreadores de IA faz parte das nossas melhorias técnicas. Agende uma conversa e vamos conferir quais bots o seu site está barrando agora.