¿Qué es GPTBot y debe permitir los rastreadores de IA en su sitio?
Sergey Carp de Skardu, Cofundador / CTO
GPTBot es el rastreador web de OpenAI, la empresa que está detrás de ChatGPT. Visita sitios web y recopila contenido que puede usarse para entrenar los modelos de OpenAI. Se identifica con el user agent GPTBot, que es el nombre que se usa para permitirlo o bloquearlo en robots.txt y el que verá en los registros de su servidor.
Lo esencial
GPTBot es el rastreador de entrenamiento de OpenAI, distinto de OAI-SearchBot y ChatGPT-User. Permita los bots de búsqueda, decida sobre los de entrenamiento y revise su CDN.
OpenAI tiene tres bots, no uno
- GPTBot recopila contenido para entrenar modelos;
- OAI-SearchBot encuentra páginas para los resultados de búsqueda de ChatGPT;
- ChatGPT-User abre una página cuando un usuario pide a ChatGPT que la consulte.
Bloquear GPTBot no le saca de la búsqueda de ChatGPT, y permitirlo no le mete en ella. Cada bot se controla por separado.
Otros rastreadores de IA
- Google: Google-Extended controla si su contenido se usa para el entrenamiento y la fundamentación (grounding) de Gemini; no afecta a la Búsqueda de Google.
- Anthropic: ClaudeBot, Claude-SearchBot y Claude-User.
- Perplexity: PerplexityBot y Perplexity-User.
- Microsoft: Copilot se basa en Bingbot.
Por ejemplo, para que su contenido no se use en el entrenamiento de OpenAI sin dejar de ser visible en la búsqueda de ChatGPT, robots.txt podría incluir:
User-agent: GPTBot Disallow: / User-agent: OAI-SearchBot Allow: /
¿Debe permitir los rastreadores de IA en su sitio?
- Los bots de búsqueda y de respuesta suelen merecer la pena en el sitio web de una empresa. De lo contrario, los asistentes de IA no pueden citar sus páginas ni enlazarlas.
- Los bots de entrenamiento pueden permitirse o restringirse según la política de su empresa.
- Las zonas privadas, como las áreas de cliente, los carritos y las secciones de administración, deben estar cerradas a todos los bots.
No se quede en robots.txt. Los cortafuegos del hosting y la protección contra bots de la CDN a veces bloquean a los rastreadores de IA sin que el propietario del sitio lo sepa. Los registros del servidor muestran si estos bots consiguen pasar de verdad. Para un análisis completo, consulte qué rastreadores de IA permitir y cuáles bloquear.
En Posicionamiento en IA, la configuración del acceso de los rastreadores de IA forma parte de nuestras mejoras técnicas. Agende una llamada y comprobaremos qué bots está rechazando ahora mismo su sitio.