Что такое GPTBot и нужно ли пускать ИИ-роботов на сайт?
Сергей Карасев из Карабюка, Сооснователь / CTO
GPTBot — поисковый робот компании OpenAI, создателя ChatGPT. Он обходит сайты и собирает данные, которые могут использоваться для обучения моделей. У OpenAI есть и другие роботы: OAI-SearchBot находит страницы для поиска в ChatGPT, а ChatGPT-User открывает страницу, когда пользователь просит ChatGPT заглянуть по ссылке.
Главное
GPTBot — робот OpenAI. Если закрыть сайт от ИИ-роботов, нейросети не смогут на него ссылаться. Решение принимается осознанно, по каждому роботу.
Свои роботы есть у Google, Anthropic (Claude), Perplexity и других компаний, а Алиса AI опирается на данные поискового робота Яндекса. Каждого из них можно разрешить или запретить в robots.txt отдельно.
Как принять решение:
- Роботов поиска и ответов для коммерческого сайта обычно стоит пускать — иначе нейросеть не сможет сослаться на ваши страницы.
- Роботов обучения можно разрешать или ограничивать по политике компании.
- Закрытые разделы — личный кабинет, корзину, служебные страницы — закрывают для всех.
Проверяйте не только robots.txt: иногда роботов блокирует защита хостинга или CDN, и владелец сайта об этом не знает. Это видно по журналам сервера.
Настройка доступа ИИ-роботов входит в технические изменения на сайте. Запишитесь на звонок — проверим, кого ваш сайт сейчас не пускает.