Нужно ли прописывать llms.txt в robots.txt?
Сергей Карасев из Цинциннати, Сооснователь / CTO
Нет, специальной директивы для llms.txt в robots.txt не существует, и прописывать её не нужно. Файл находят по стандартному адресу — site.ru/llms.txt, так же как robots.txt находят по site.ru/robots.txt.
Главное
Специальной директивы для llms.txt нет. Важно другое: файл должен открываться без авторизации, а robots.txt не должен запрещать нужных ИИ-роботов.
Что действительно стоит проверить:
- файл открывается без авторизации и редиректов, с кодом ответа 200;
- он отдаётся как обычный текст в кодировке UTF-8;
- robots.txt не запрещает доступ ИИ-роботам, которым вы хотите показать сайт;
- защита от ботов на сервере или в CDN не блокирует этих роботов «молча»;
- все ссылки внутри файла ведут на рабочие страницы.
Частая ошибка — аккуратный llms.txt при закрытом для ИИ-роботов сайте. В таком случае файл бесполезен: нейросеть не сможет открыть ни его, ни страницы, на которые он ссылается.
Мы проверяем доступ ИИ-роботов, robots.txt и llms.txt в рамках GEO-аудита. «Продвижение в нейросетях» — абонентская плата 8 900 ₽ в месяц с 10 часами работы специалиста.