Заявка
AI и промты Владельцу бизнеса

Как открыть сайт для ИИ-ботов: robots.txt для GPTBot, ClaudeBot и PerplexityBot

Павел БуевичHEAD of SEO агентства GUSAROV

Обновлено

10 мин чтения

Коротко

Чтобы открыть сайт для ответов нейросетей, оставьте без запретов поисковых ботов: OAI-SearchBot, Claude-SearchBot и PerplexityBot. Обучающих GPTBot и ClaudeBot открывайте или закрывайте по желанию, это отдельные токены. Правила вступают в силу примерно за сутки, затем проверьте журнал сервера и защиту сайта.

Как открыть сайт для ИИ-ботов: robots.txt для GPTBot, ClaudeBot и PerplexityBot

У каждого ИИ-сервиса теперь не один робот, а несколько: один собирает материал для обучения модели, другой ищет страницы для ответов, третий заходит по просьбе пользователя. Из-за этого одна неверная строка в robots.txt для GPTBot или ClaudeBot легко закрывает сайт от ответов нейросетей или, наоборот, отдает тексты на обучение, хотя вы этого не планировали.

Ниже порядок действий: как отличить ботов друг от друга, как выбрать стратегию, как записать правила и как убедиться по журналу сервера, что они работают. Общую картину мы описали в материале о продвижении в нейросетях, здесь разбираем только техническую часть.

Чем отличаются боты OpenAI, Anthropic и Perplexity

У каждого из трех сервисов есть как минимум два разных бота с разной задачей, и для каждого в файле запретов нужна своя запись. Данные ниже мы сверили с документацией самих сервисов на дату публикации, тема меняется, поэтому перед внедрением откройте актуальные страницы.

OpenAI в документации по своим роботам описывает три основных. GPTBot собирает контент, который может использоваться для обучения моделей. OAI-SearchBot нужен для поиска в ChatGPT: если закрыть его, сайт не попадет в поисковые ответы сервиса, хотя ссылкой для перехода может остаться. ChatGPT-User заходит на страницу, когда пользователь сам попросил что-то посмотреть, и для таких действий правила могут не применяться.

Anthropic в справке описывает три бота. ClaudeBot собирает материалы, которые могут участвовать в обучении. Claude-SearchBot нужен для улучшения качества поиска. Claude-User ходит по сайтам, когда пользователь Claude запрашивает страницу. Для двух последних компания прямо предупреждает, что запрет снижает видимость сайта в ответах.

У Perplexity тоже два бота. PerplexityBot, по заявлению компании, нужен для показа и ссылок на сайты в поиске сервиса и не используется для обучения базовых моделей. Perplexity-User работает по запросу человека, и документация сообщает, что такой загрузчик, как правило, игнорирует правила robots.txt.

Бот Сервис Для чего ходит Что дает запрет
GPTBot OpenAI Сбор материала, который может пойти в обучение Контент не попадает в обучающие данные
OAI-SearchBot OpenAI Поиск в ChatGPT Сайт пропадает из поисковых ответов
ChatGPT-User OpenAI Визит по просьбе пользователя Правила могут не применяться
ClaudeBot Anthropic Сбор материала для обучения Будущие материалы не попадают в обучающие данные
Claude-SearchBot Anthropic Качество поиска Снижается видимость в ответах
Claude-User Anthropic Визит по запросу пользователя Страницы не читаются для таких запросов
PerplexityBot Perplexity Показ сайтов в поиске сервиса Сайт исчезает из ссылок сервиса
Perplexity-User Perplexity Визит по запросу пользователя Как правило, правила игнорируются

Какую стратегию выбрать: открыть, закрыть обучение или закрыть все

Стратегию определяют два вопроса: хотите ли вы появляться в ответах нейросетей и готовы ли отдавать тексты на обучение моделей. Это наше рабочее правило выбора, а не требование сервисов, и ответы на оба вопроса зависят от вашего бизнеса.

Если вам важны упоминания и ссылки в ответах, поисковых ботов нужно держать открытыми: OAI-SearchBot, Claude-SearchBot и PerplexityBot. Для обучающих ботов GPTBot и ClaudeBot в robots.txt решение отдельное, потому что у OpenAI поисковый и обучающий боты, по документации, управляются отдельными токенами. У Anthropic и Perplexity задачи ботов тоже разделены, но как именно запрет одного влияет на другого, лучше проверять на практике. Закрывая обучение, вы лишаете модель ваших текстов, но не лишаете себя ответов в поиске сервиса.

Стратегия Кому подходит Что открыто Риск
Открыть все Сайт услуг, которому нужны упоминания везде Поисковые и обучающие боты Тексты уходят на обучение без отдельных условий
Закрыть обучение, оставить поиск Издание, блог, сайт с авторской экспертизой Только поисковые боты Модель хуже знает бренд без обращения к поиску
Закрыть все Закрытый контент, платная база, юридические ограничения Ничего Бренд пропадает из ответов этих сервисов

Для большинства сайтов услуг и интернет-магазинов мы бы начинали со второго или первого варианта. Закрытый сайт не получит упоминаний в ответах, и если цель в заявках из нейросетей, этот вариант противоречит цели. Решение можно пересматривать, файл меняется за минуты, а новые правила начинают работать с задержкой.

Проверка текущего состояния: что закрыто сейчас

Откройте в браузере адрес вашего сайта со словом robots.txt в конце и прочитайте файл целиком: ответ должен быть кодом 200 и обычным текстом. Файл должен лежать в корне, и по описанию гугла его правила действуют только для того хоста, протокола и порта, где он размещен, поэтому у поддомена нужен собственный файл.

  1. Найдите строки User-agent со звездочкой. Если под ними стоит Disallow: / , закрыт весь сайт для всех роботов, включая ИИ-ботов.
  2. Поищите названия ботов из таблицы выше. Часть сайтов уже содержит записи, добавленные плагином безопасности или прежним подрядчиком.
  3. Проверьте, не отвечает ли файл ошибкой. В описании гугла все ошибки 4xx, кроме 429, воспринимаются как отсутствие файла и ограничений. Как ведут себя в этом случае ИИ-боты, мы в документации не нашли, поэтому не рассчитывайте на одинаковое поведение.
  4. Посмотрите, нет ли второго файла на поддомене или на версии сайта с другим протоколом.

Отдельно проверьте тестовые копии сайта и закрытые разделы: если там остались временные запреты или, наоборот, открытый доступ, боты увидят это раньше вас. Тестовый домен лучше закрывать паролем, а не надеяться на файл запретов, и помнить, что каждая такая копия получает собственный файл.

Если файла нет вовсе, ничего страшного: для ботов это обычно значит, что ограничений нет, но вы теряете управление. Лучше создать файл с явными правилами, чтобы любое решение было записано и его можно было проверить.

Готовые шаблоны правил для каждого бота

Для GPTBot и ClaudeBot в robots.txt записывают отдельные группы, и именно здесь обычно и ошибаются. Каждая запись состоит из строки User-agent с названием бота и строк Allow или Disallow под ней, а группы разделяются пустой строкой. Название бота берите ровно как в таблице: регистр в названии для гугла не важен, а вот пути в правилах различают регистр.

Три дверных проема: открытый, приоткрытый и закрытый на замок, перед первым стоит силуэт робота

Вариант для сайта, которому нужны ответы нейросетей, но не нужно обучение, записывается так, строка за строкой:

  • User-agent: GPTBot
  • Disallow: /
  • User-agent: ClaudeBot
  • Disallow: /
  • User-agent: OAI-SearchBot
  • Allow: /
  • User-agent: Claude-SearchBot
  • Allow: /
  • User-agent: PerplexityBot
  • Allow: /

Между группами оставьте пустые строки, в списке они не показаны. Если нужно открыть все, достаточно убрать из файла запрещающие группы для GPTBot и ClaudeBot или заменить Disallow: / на Allow: /. Для варианта «закрыть все» понадобится Disallow: / в каждой группе, включая поисковых ботов.

Закрывать можно не весь сайт, а раздел. Строка Disallow: /private/ в группе нужного бота закроет только этот каталог и оставит остальное. Типичная задача: оставить боту открытым блог и услуги, а закрыть личный кабинет и служебные страницы.

Отдельно у Anthropic в справке описана директива Crawl-delay для ClaudeBot: она замедляет сканирование, если бот создает нагрузку на сервер. Если вы заметили всплеск обращений, замедление лучше полного запрета, потому что оно не убирает сайт из обучения и поиска.

Ловушка групп: почему общие запреты не действуют на отдельного бота

Если вы добавили группу для конкретного бота, он перестает читать общую группу со звездочкой, и все запреты, которые были там, нужно повторить. Это самая частая причина того, что правила работают не так, как задумано.

Из документации гугла: для каждого робота действует только одна группа, та, что подходит точнее всего, а группы не объединяются. Допустим, в общей группе закрыты корзина и личный кабинет. Вы добавляете для GPTBot группу с Allow: / и ждете, что корзина осталась закрытой. Этого не произойдет: для этого бота есть своя группа, и корзина для него открыта. Проверяйте каждую группу так, как будто остальных нет.

Вторая типичная ошибка касается опечаток. Строка User-agent: GPT-Bot или Claude Bot не совпадет с токеном и не сработает, при этом файл выглядит нормально. Копируйте названия из документации сервисов, а не набирайте по памяти. Файл также должен быть в кодировке UTF-8, а размер у гугла ограничен пятьюстами килобайтами, что для нашей задачи обычно не проблема.

Третья ловушка: правила в robots.txt не защищают закрытую информацию. Это договоренность, которую выполняют добросовестные роботы, и по описанию гугла это не механизм доступа. Если страницу нельзя показывать посторонним, закрывайте ее на уровне сервера.

Когда файл открыт, а бот все равно не заходит

Даже при правильных правилах бот может не получить страницу, если его останавливает защита сайта. Файл запретов управляет только договоренностью, а блокировка по ответам сервера идет отдельным слоем.

Проверьте три места. Первое: настройки защиты от автоматических запросов на хостинге или в сервисе перед сайтом, где ботов иногда отсеивают по частоте или по признакам. Второе: плагины безопасности в админке, которые добавляют свои запреты. Третье: правила веб-сервера, отсекающие часть названий клиентов. Какое из них влияет на ваш сайт, видно только по журналу и по настройкам.

Если вы хотите пропустить ботов через защиту, не полагайтесь на название в user-agent: его легко подделать. Сервисы публикуют списки адресов для проверки: у OpenAI это файлы gptbot.json, searchbot.json и chatgpt-user.json на сайте openai.com, у Anthropic список в формате JSON на сайте claude.com, у Perplexity файлы perplexitybot.json и perplexity-user.json. Anthropic при этом пишет, что блокировка по адресам ненадежна, а надежный способ управления это robots.txt.

Бесплатного решения без обслуживания здесь нет. Пропуская ботов по списку адресов, вы получаете дополнительную работу: списки обновляются, и устаревшее правило со временем начнет блокировать нужное. Запишите в рабочую таблицу, где лежит правило и кто его обновляет.

Как убедиться по журналу сервера, что правила работают

Через сутки после правки откройте журнал запросов и найдите там названия ботов: OpenAI и Perplexity в документации пишут, что изменения могут вступать в силу примерно до двадцати четырех часов. Раньше смотреть нет смысла, картина будет смешанной.

Ряд серверных стоек с зелеными и синими индикаторами в тихом помещении
  1. Выгрузите журнал за последние семь-тридцать дней у хостинга или разработчика.
  2. Отфильтруйте строки, где в user-agent встречаются GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot.
  3. Для каждого бота посчитайте запросы по кодам ответа: 200, 403, 404.
  4. Отдельно найдите обращения к самому файлу запретов: бот, который не читает файл, правилам не подчиняется.
  5. Сравните картину до и после правки.
Что видно в журнале Как понимать Что делать
Закрытый бот приходит и получает 200 Правило не применилось или это пользовательский визит Проверить группы и подождать сутки
Открытый бот получает 403 Его останавливает защита сайта Проверить хостинг, плагины и правила сервера
Бот не приходит вовсе Сайт может быть не замечен или закрыт общей группой Проверить группу со звездочкой и ссылки на сайт
Много обращений за короткое время Нагрузка на сервер Рассмотреть замедление для ClaudeBot или лимиты

Если сайт стоит за CDN, часть запросов может обслуживаться из кэша и не попадать в журнал сервера, тогда смотрите журнал на стороне CDN. Подтверждение того, что бот пришел, еще не значит, что сайт попал в ответы: это отдельный замер, ручной вариант мы описали в статье как проверить, видит ли нейросеть ваш бренд.

Что сделать, кроме файла запретов

Открытый доступ только допускает ботов на сайт, а попадание в ответы зависит от самих страниц: их текста, структуры и ясности сведений о компании. Поэтому после настройки доступа проверьте содержание.

Основной текст должен лежать в HTML, а не появляться только после выполнения скриптов, потому что часть ботов может не исполнять скрипты так, как это делает браузер. Каждый раздел должен открываться прямым ответом на вопрос заголовка, который можно процитировать без контекста, этому посвящена статья о том, как оптимизировать страницу под цитирование нейросетями. Название компании, контакты и услуги должны совпадать на сайте и во внешних профилях.

Что влияет на упоминания в целом, мы разбирали в статье как попасть в ответы ChatGPT. Для файла llms.txt, который часто путают с robots.txt, у нас есть отдельный разбор: нужен ли llms.txt.

Итог: порядок действий на ближайшие дни

Если коротко, сама настройка обычно занимает около часа, а проверка результата сутки. Сначала решите стратегию по двум вопросам, потом запишите группы для каждого бота из таблицы, проверьте, что общие запреты продублированы там, где нужно, и через сутки посмотрите журнал.

Порядок такой: откройте файл запретов и прочитайте его целиком, выберите стратегию, внесите правки и сохраните копию старой версии, подождите сутки, найдите ботов в журнале и сверьте коды ответов. Если открытый бот получает 403, ищите причину в защите сайта. Обещать рост упоминаний от одной правки мы не беремся: доступ только допускает бота к страницам.

Если хотите, чтобы мы проверили файл запретов, защиту сайта и журналы, можно заказать техническую оптимизацию: начнем с проверки и скажем, что из перечисленного нужно именно вашему сайту, без лишних работ.

Читайте по теме: Как отслеживать упоминания бренда в нейросетях: инструменты и ручные методы

Читайте по теме: Как измерить трафик из ChatGPT и Perplexity в аналитике

Частые вопросы

Как закрыть сайт от GPTBot, не потеряв поиск в ChatGPT?

Добавьте в файл запретов группу User-agent: GPTBot с правилом Disallow: / и отдельно оставьте открытым OAI-SearchBot. По документации OpenAI это независимые токены: запрет для обучающего бота не отключает поисковый. Если закрыть нужно не весь сайт, укажите каталог вместо корня. Через сутки проверьте журнал сервера.

Игнорирует ли Perplexity правила robots.txt?

PerplexityBot правила файла соблюдает, а вот Perplexity-User, который заходит по запросу человека, по документации сервиса, как правило, их игнорирует. Поэтому закрыть страницу от просмотра по просьбе пользователя файлом запретов не получится. Для закрытых материалов используйте пароль или другие ограничения доступа на уровне сервера.

Через сколько начнут действовать новые правила для ботов?

OpenAI и Perplexity в документации указывают срок до двадцати четырех часов после обновления файла. У Anthropic такого срока в просмотренной нами справке нет. Поэтому не оценивайте результат сразу: подождите сутки, затем выгрузите журнал сервера, посмотрите, как боты ведут себя после правки, и сверьте коды ответа.

Нужен ли отдельный файл запретов для каждого поддомена?

Да. По описанию гугла правила действуют только для хоста, протокола и порта, где размещен файл. Anthropic в справке тоже советует применять правила к каждому поддомену отдельно. Поэтому у блога на поддомене должен быть собственный файл, а запреты основного сайта на него не распространяются.

Чем ClaudeBot отличается от Claude-User?

ClaudeBot собирает материалы, которые могут участвовать в обучении моделей. Claude-User заходит на страницу, когда пользователь Claude сам просит ее открыть. Запрет первого исключает будущие материалы из обучающих данных, запрет второго снижает видимость сайта в ответах на такие запросы.

Павел Буевич

HEAD of SEO агентства GUSAROV

Отвечает за операционное управление агентством и стратегию развития SEO-направления. Действующий SEO-специалист с глубокой экспертизой в поисковом продвижении, аналитике и performance-подходе.

Об авторе

Хотите разобрать ваш сайт вместе со специалистом?

Оставьте заявку на бесплатную стратегическую сессию: посмотрим сайт и покажем точки роста за 24 часа.

Что вы получите после заявки

  • Разберем ваш сайт
  • Покажем точки роста
  • Сессия бесплатная

Новое на сайте