GPTBot, ClaudeBot, PerplexityBot: quais rastreadores de IA liberar e quais bloquear

Esta é uma história que vemos o tempo todo nas auditorias de visibilidade em IA. Uma empresa passa um ano investindo em conteúdo: artigos de especialistas, páginas de serviços atualizadas, uma seção de perguntas frequentes bem-feita. Mesmo assim, ela nunca aparece nas respostas do ChatGPT ou do Perplexity. Abrimos o robots.txt e encontramos uma regra que bloqueia todo bot “desconhecido”, adicionada anos atrás para conter raspadores de conteúdo. Ou o robots.txt está correto, mas a proteção contra bots da CDN ou uma regra de bloqueio geográfico rejeita as requisições vindas de data centers no exterior, e os rastreadores da OpenAI ficam do lado de fora. O site existe, o conteúdo existe, mas, para vários assistentes de IA, ele simplesmente não está lá.

O contrário também acontece. Um dono de empresa descobre que o GPTBot está baixando os seus artigos para treinar modelos e, irritado, bloqueia todos os rastreadores de IA de uma vez — inclusive os que trazem clientes. Vamos entender quais rastreadores de IA existem, qual a diferença entre um rastreador de treinamento e um rastreador de busca e como configurar o acesso para não perder nem o seu conteúdo nem os seus clientes.

Por que a IA precisa visitar o seu site

Quando alguém pergunta ao ChatGPT, ao Claude, ao Gemini ou ao Perplexity “quem pode fazer a contabilidade de um e-commerce pequeno”, a pessoa recebe uma resposta da IA: um texto pronto, com recomendações, nomes de empresas e links para os sites de origem. Nos assistentes de chat, a resposta chega na conversa com as citações; no Google, ela aparece como um AI Overview acima dos resultados comuns. As pessoas leem a resposta e muitas vezes escolhem ali mesmo.

Para escrever essa resposta, a IA precisa ler páginas. As páginas são buscadas por programas chamados rastreadores, ou bots. Cada rastreador se identifica para o servidor com um nome, a string de user agent, e é esse nome que as regras do robots.txt usam para liberar ou bloquear o acesso. Se o rastreador certo não consegue abrir uma página, a IA não tem como citá-la.

Três tipos de rastreadores de IA: treinamento, busca e pedidos do usuário

O mais importante de entender: “o bot da IA” não é um bot só. As grandes empresas de IA mantêm vários, e cada um tem uma função diferente.

• Os rastreadores de treinamento coletam textos que podem ser usados para treinar modelos futuros. Bloqueá-los mantém o seu conteúdo fora da “memória” do modelo, mas em geral não afeta a busca em tempo real.
• Os rastreadores de busca indexam páginas para que a IA consiga encontrá-las e citá-las nas respostas. Bloqueie esses e o seu site sai das respostas com fontes.
• Os buscadores de página acionados pelo usuário abrem uma página específica quando alguém no chat pede “dá uma olhada neste site”, ou quando o assistente precisa conferir uma página enquanto responde. Não é rastreamento em massa, e sim uma ação pontual em nome de um usuário.

Para o site de uma empresa, a lógica é simples. Os rastreadores de busca e os acionados pelo usuário devem ser liberados quase sempre: eles trazem menções e visitas. Os rastreadores de treinamento podem ser liberados ou bloqueados; essa é uma decisão de política da empresa, não de marketing.

Lista de rastreadores de IA: quem é quem

Os nomes e as funções dos rastreadores mudam de tempos em tempos: as empresas criam novos bots e esclarecem o que os atuais fazem. Abaixo está o cenário no momento em que escrevemos. Antes de configurar qualquer coisa, consulte a documentação para donos de site que cada empresa publica.

Uma observação sobre o Google. O Google-Extended não é um bot que visita o seu site; é um token que você usa no robots.txt. Quem rastreia continua sendo o Googlebot, e o token apenas informa ao Google se o seu conteúdo pode ser usado no treinamento e no embasamento do Gemini. Ele não afeta a busca do Google. Os AI Overviews são montados sobre o índice de busca do Google, então não dá para sair deles com o Google-Extended, e bloquear o Googlebot significa abandonar a busca do Google por completo.

Uma observação sobre os buscadores de página acionados pelo usuário. As empresas de IA às vezes descrevem os bots que abrem uma página a pedido direto de uma pessoa como uma ação do usuário, e não como rastreamento automatizado, e as regras do robots.txt podem valer para eles de forma diferente do que para os rastreadores comuns. O Perplexity-User é um exemplo. Se você precisa mesmo restringir esse tipo de acesso, consulte a documentação atual da empresa e considere regras no nível do servidor.

GPTBot: bloquear ou não?

O GPTBot é a dúvida que mais ouvimos, porque é o rastreador de IA mais conhecido. O ponto principal: o GPTBot cuida do treinamento, não das respostas com fontes no ChatGPT. Da busca cuida o OAI-SearchBot, e de abrir páginas a pedido do usuário, o ChatGPT-User. O restante do cenário do ChatGPT está no nosso guia sobre como fazer a sua empresa ser recomendada no ChatGPT.

Sobram, então, três opções conscientes:

• Liberar todo mundo. É o certo para a maioria das empresas de serviços e lojas virtuais: quanto mais a IA souber sobre a sua empresa, melhor. Esses sites raramente guardam dados exclusivos que valha a pena proteger.
• Bloquear o treinamento, liberar a busca. Serve para veículos de mídia, criadores de conteúdo pago e donos de bases de dados ou métodos exclusivos. GPTBot, ClaudeBot e Google-Extended ficam bloqueados; os rastreadores de busca e os acionados pelo usuário ficam liberados.
• Bloquear tudo, menos a busca tradicional. Pode fazer sentido para portais corporativos privados. Para um site que precisa de clientes, quase sempre é um erro.

Nos logs do seu servidor, o user agent do GPTBot é uma string que contém a palavra GPTBot e um link para uma página que descreve o rastreador. Qualquer script pode falsificar essa string, então, em caso de dúvida, verifique as requisições contra as faixas de IP publicadas. A OpenAI e outras empresas de IA divulgam essas faixas.

Como bloquear rastreadores de IA no robots.txt: exemplos

Em todos os exemplos, example.com é um espaço reservado; troque as seções utilitárias (área do cliente, carrinho, busca interna) pelas suas.

Exemplo 1. Liberar todo mundo, bloquear as seções utilitárias

User-agent: *
Disallow: /account/
Disallow: /cart/
Disallow: /search/

Sitemap: https://example.com/sitemap.xml

A opção mais simples. Não há grupos separados para os rastreadores de IA, então todos seguem o grupo geral marcado com um asterisco.

Exemplo 2. Bloquear o treinamento, liberar a busca e os pedidos do usuário

# Rastreadores de treinamento: bloqueados
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

# Rastreadores de busca e acionados pelo usuário: liberados, menos as seções utilitárias
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Disallow: /account/
Disallow: /cart/
Disallow: /search/

# Todos os demais, inclusive Googlebot, Bingbot e YandexBot
User-agent: *
Disallow: /account/
Disallow: /cart/
Disallow: /search/

Sitemap: https://example.com/sitemap.xml

Aqui há um detalhe técnico que é o mais errado de todos. Um rastreador procura no robots.txt um grupo com o próprio nome e, se encontra, ignora o grupo geral do asterisco. Por isso as regras das seções utilitárias precisam ser repetidas em cada grupo nomeado. Caso contrário, a área do cliente fica fechada para todo mundo, menos para o OAI-SearchBot.

Exemplo 3. Um erro comum

User-agent: *
Disallow: /

User-agent: Googlebot
Allow: /

É assim que se parece o “bloquear todo mundo, menos o Google”. O site continua no Google, mas fica completamente fechado para os rastreadores por trás do ChatGPT, do Claude e do Perplexity, e para o Bingbot — o que inclui o Copilot. Encontramos arquivos assim com frequência, e em geral os donos nem lembram que eles existem.

E o llms.txt no robots.txt?

Não existe uma diretiva do robots.txt para o llms.txt, então você não precisa referenciá-lo: o arquivo é encontrado no endereço padrão, example.com/llms.txt. Só confira se o robots.txt não está bloqueando o acesso a ele. O que escrever dentro do arquivo está no nosso guia completo do llms.txt.

Firewalls, CDNs e proteção contra bots: o bloqueio invisível

O robots.txt é um pedido, não uma tranca. A tranca de verdade fica no seu servidor ou na frente dele, e muitas vezes barra justamente os bots que você queria deixar entrar. Os culpados mais comuns:

• Botões de “bloquear bots de IA” na sua CDN. Algumas CDNs e serviços de segurança oferecem uma opção de um clique que bloqueia os rastreadores de IA conhecidos, e ela pode vir ligada por padrão em projetos novos. Esses botões nem sempre distinguem rastreadores de treinamento de rastreadores de busca.
• Proteção contra DDoS e desafios de navegador. Um rastreador não consegue passar por um desafio em JavaScript ou por um CAPTCHA e recebe a página do desafio em vez do seu conteúdo.
• Bloqueio geográfico. Empresas que atendem só um país às vezes bloqueiam o tráfego de todos os outros. Os rastreadores de IA normalmente rodam em data centers em outros países e também acabam rejeitados.
• Limite de requisições. Um rastreador que pede várias páginas em sequência bate no limite e recebe o código de status 429.
• Firewalls de aplicação web e plugins de segurança. Módulos de segurança do WordPress e de outros CMSs, assim como firewalls no nível da hospedagem, bloqueiam user agents “suspeitos” com base em listas próprias.

A solução não é desligar a proteção, e sim colocar os rastreadores certos na lista de permissões — de preferência verificados pelas faixas de IP publicadas, e não apenas pelo nome. Assim o rastreador de verdade passa, e um bot que finge ser o GPTBot, não.

Como conferir os logs do servidor: quem visita e o que recebe

A única forma confiável de saber a verdade é o log de acesso do seu servidor. Ele registra cada requisição: URL, código de status e user agent. Seguem alguns comandos para um servidor Linux rodando nginx. O caminho do log no seu servidor pode ser outro.

# Quantas requisições o GPTBot fez
grep -ci "GPTBot" /var/log/nginx/access.log

# Quais códigos de status o OAI-SearchBot recebe
grep -i "OAI-SearchBot" /var/log/nginx/access.log | cut -d' ' -f9 | sort | uniq -c

# Quais páginas o PerplexityBot pediu
grep -i "PerplexityBot" /var/log/nginx/access.log | cut -d' ' -f7 | sort | uniq -c | sort -rn | head -20

Como ler os resultados:

• Nenhuma requisição: o rastreador ainda não visitou, ou está sendo bloqueado antes de chegar ao seu servidor, no nível da CDN. Confira os logs da CDN.
• Códigos de status 200: tudo certo, o rastreador está recebendo as suas páginas.
• Códigos de status 403, 429 ou 503: o rastreador chega, mas é rejeitado. Procure a causa nas configurações de proteção.
• Muitos códigos 301 e 404: o rastreador perde tempo com redirecionamentos e links quebrados. Hora de fazer uma limpeza.

Se você não tem acesso ao servidor — por exemplo, num construtor de sites hospedado —, os relatórios de rastreamento do Google Search Console e do Bing Webmaster Tools ajudam em parte, mas não dizem nada sobre os rastreadores de IA. Nesse caso, fale com o suporte da sua plataforma.

Configuração do acesso passo a passo

O acesso dos rastreadores é a primeira seção do nosso checklist de otimização para IA. Sem ele, nada mais da lista importa.

O resultado: seu site aberto para os bots que trazem clientes

Com o acesso configurado, o cenário fica sob controle. Os rastreadores de busca recebem as páginas com código de status 200, as seções utilitárias ficam fechadas para todo mundo, a decisão sobre o treinamento de modelos é consciente e está registrada no robots.txt, e a sua proteção deixa passar os rastreadores verificados e barra os falsos. Isso não garante um lugar nas respostas da IA, mas elimina o motivo mais irritante de ficar fora delas: “eles simplesmente não conseguiram entrar”.

Como cuidamos do acesso dos rastreadores de IA e de todo o resto

Na Otimização para IA, fazemos SEO desde 2002. Temos mais de 100 clientes no mundo todo, certificações do Google e do Yandex e uma única equipe que cuida do seu site e da sua visibilidade em IA de ponta a ponta. Otimizamos para o Google AI Overviews e o AI Mode, o ChatGPT, o Gemini, o Claude, o Perplexity, o Microsoft Copilot e outros assistentes de IA, para empresas em Taloqan e em mercados internacionais.

Configurar o acesso dos rastreadores de IA faz parte das melhorias técnicas no site. O serviço completo inclui:

• auditoria de visibilidade em IA: robots.txt, proteção do servidor, logs e o que os assistentes de IA dizem sobre você e sobre os seus concorrentes;
• pesquisa de prompts: as perguntas que os seus clientes fazem aos assistentes de IA;
• melhorias técnicas no site: acesso dos rastreadores de IA, llms.txt, marcação Schema, velocidade, erros;
• conteúdo novo feito para as respostas da IA;
• menções à marca em sites de terceiros;
• publicação de artigos em fontes externas para construir a autoridade da sua empresa e dos seus especialistas;
• monitoramento contínuo da visibilidade em IA.

A IA avalia o seu site como um todo, então cuidamos do site inteiro desde o primeiro dia, das melhorias técnicas ao GEO. Garantimos a entrega das tarefas de GEO, a correção de erros e a adaptação rápida do seu site às exigências que mudam na busca com IA, incluindo os novos rastreadores conforme eles aparecem.

A mensalidade é de 290 USD por mês, com as primeiras 10 horas de trabalho incluídas. Cada hora adicional custa 45 USD. O trabalho de GEO é cobrado por horas trabalhadas: faturamos apenas o trabalho concluído e entregue no mês. Sem descontos nem meses gratuitos.

Agende uma conversa. Vamos descobrir quais rastreadores o seu site está barrando agora e abri-lo para os assistentes de IA que os seus clientes realmente usam.