robots.txt для ИИ-краулеров в Тильде: как открыть сайт нейросетям

robots.txt под ИИ-краулеров это обычный файл robots.txt в корне сайта, в котором отдельными группами User-agent прописано, каким ботам нейросетей можно читать сайт, а каким нельзя. Большинство таких ботов без собственной группы подчиняются общей группе User-agent: *. Открыть сайт для ChatGPT, Claude, Perplexity и Алисы значит проверить, что ни общая группа, ни чужой шаблон их не закрывают, и при желании развести ботов для ответов и ботов для обучения.

robots.txt под ИИ-краулеров: что это и при чём тут Тильда

Каждый ИИ-сервис ходит на сайты своими ботами и представляется своим именем. По этому имени robots.txt и решает, что боту разрешено. Закрыли не того бота, и сайт выпал из ответов нейросети, хотя в обычном поиске всё в порядке.

Тильда здесь потому, что про неё в сети ходят два ответа: старый «править нельзя» и актуальный «можно».

Доступ ботов только один пункт подготовки сайта к ответам нейросетей. Остальные собраны в чек-листе GEO из 30 пунктов.

Какие ИИ-боты ходят на сайт и зачем

Сводка по документации самих компаний, сверял 10 октября 2026 года.

Источники: документация OpenAI, справка Anthropic, список роботов Google, документация Perplexity, справка Яндекс Вебмастера.

Отдельно про ботов «по просьбе пользователя». ChatGPT-User и Perplexity-User приходят, когда человек в чате попросил открыть конкретную страницу. OpenAI и Perplexity пишут, что robots.txt к ним может не применяться, раз запрос сделал человек.

Обучение модели и ответ в поиске: что можно разделить

Самый частый вопрос: хочу, чтобы меня называли в ответах, но не хочу кормить своими текстами чужую модель. Где-то это разводится, где-то нет.

OpenAI. Разделение прямое. В документации сказано, что можно разрешить OAI-SearchBot и закрыть GPTBot: сайт остаётся в поиске ChatGPT и выходит из обучения. Если открыты оба, OpenAI может использовать один обход для обеих целей. Для поиска изменения в файле подхватываются примерно за 24 часа.

Anthropic. Закрытый ClaudeBot исключает будущие материалы сайта из обучающих наборов, закрытый Claude-SearchBot убирает сайт из индекса для поисковых ответов. Если бот ходит слишком часто, Anthropic поддерживает нестандартную директиву Crawl-delay.

Google. Google-Extended управляет и обучением Gemini, и использованием страниц для ответов в Gemini Apps и Vertex AI. На попадание в Google Поиск и позиции он, по словам Google, не влияет. Закрыв его ради обучения, вы заодно уходите из части ответов Gemini.

Perplexity. По их документации PerplexityBot для обучения базовых моделей не используется. Его закрытие только убирает сайт из ответов Perplexity.

Яндекс. Слова «обучение» в справке Вебмастера про роботов нет. Есть два уровня. Закрыть YandexBot значит уйти из поиска Яндекса целиком. Закрыть YandexAdditional значит остаться в поиске и не показываться в ответах Алисы AI и быстрых ответах с YandexGPT. Сам он запросов не делает и работает по страницам, которые уже проиндексировал основной робот. По справке Яндекса изменение учитывается за срок от 2 до 14 дней. Использует ли Яндекс страницы сайтов для обучения своих моделей и как от этого отказаться, в справке не описано, и гадать я не буду.

Когда ботов не пускать вовсе, например из-за нагрузки на сервер, я разбирал в статье про краулеры, которые перегружают сайты.

GigaChat: что известно официально

Я искал официальное описание робота GigaChat: имя для robots.txt, назначение, соблюдает ли он правила. На 10 октября 2026 года такого документа у Сбера я не нашёл. Имена из сторонних списков без первоисточника я в файл не вписываю: правило для несуществующего имени ничего не делает.

Практический способ один: журнал сервера. Если в нём появится бот со ссылкой на Сбер в строке user-agent, это и будет имя для правила. На Тильде журнала нет, поэтому там остаётся держать открытой общую группу.

Пример robots.txt для ИИ-ботов

Сценарий «открыть всё» самый простой. Если общая группа не закрывает сайт и ни один ИИ-бот не упомянут с Disallow: /, сайт уже открыт.

Сценарий «в ответы пускаю, в обучение нет» выглядит так:

# Все остальные роботы
User-agent: *
Disallow: /private/

# Поиск в ChatGPT: открыт
User-agent: OAI-SearchBot
Disallow: /private/

# Обучение моделей OpenAI: закрыто
User-agent: GPTBot
Disallow: /

# Поисковые ответы Claude: открыты
User-agent: Claude-SearchBot
Disallow: /private/

# Обучение Claude: закрыто
User-agent: ClaudeBot
Disallow: /

# Поиск Perplexity: открыт
User-agent: PerplexityBot
Disallow: /private/

# Ответы Алисы AI: открыты
User-agent: YandexAdditional
Disallow: /private/

Sitemap: https://example.ru/sitemap.xml

Google-Extended я здесь не закрываю: вместе с обучением он отрезал бы и ответы Gemini. Решайте по своей ситуации.

Обратите внимание на /private/ в каждой группе. Бот с собственной группой правила из группы User-agent: * не читает. Это записано в стандарте RFC 9309 и в спецификации Google: общие и именные группы не складываются. Служебные разделы, закрытые для всех, надо повторить в каждой именной группе, иначе вы откроете их ровно тем ботам, которых решили назвать.

И оговорка из того же RFC 9309: robots.txt не заменяет защиту контента. Это просьба к добросовестным роботам. Закрытые материалы закрывают паролем.

Как отредактировать robots.txt в Тильде

В базе вопросов Тильды до сих пор висит ответ, что редактировать robots.txt нельзя, а для серьёзных изменений проект придётся экспортировать на свой хостинг. В актуальной справке Тильды описан ручной режим, на неё я и ориентируюсь. Порядок:

1. Откройте вашсайт.ru/robots.txt в браузере и сохраните текущий текст. Это то, что Тильда сгенерировала сама.
2. Зайдите в Настройки сайта, раздел SEO, пункт «Редактирование robots.txt».
3. Включите режим «Ручное управление».
4. Допишите группы для ИИ-ботов, не трогая строки Тильды с Disallow и Sitemap, и нажмите «Сохранить».
5. Снова откройте вашсайт.ru/robots.txt и проверьте, что правки на месте. Для Яндекса прогоните файл через «Анализ robots.txt» в Вебмастере.

Ограничения из той же справки. Размер файла до 60 КБ, для robots.txt это с запасом. Главное: после перехода на ручной режим изменения в настройках сайта и страниц перестают автоматически попадать в robots.txt. Закрыли новую страницу галочкой «Запретить поисковикам индексировать страницу», а в файле её запрета не появится, дописывайте сами.

И проверьте галочку «Запретить поисковикам индексировать сайт» в настройках SEO. Если она стоит, сайт закрыт для поисковиков, и разбираться с ИИ-ботами пока рано.

Ошибки, которые я нахожу в чужих и своих файлах

Чужой шаблон. Файл скопирован из старой статьи, где GPTBot и компания закрыты «на всякий случай». Владелец не знает, что сам себя убрал из ответов.

Именная группа без служебных запретов. У себя на сайте я давно открыл ИИ-ботов отдельными группами с Allow: /. Перечитывая файл к этой статье, нашёл ровно эту ошибку: раздел, закрытый в общей группе, для названных ботов открыт. У меня там служебные файлы сборки, ничего ценного, но на другом сайте за таким разделом может лежать что-то важное. Исправил так: продублировал оба запрета в каждой именной группе.

Устаревшие имена. В том же файле остались Claude-Web и anthropic-ai, которых в текущей справке Anthropic уже нет, и не было Claude-SearchBot и Claude-User. Новые имена я добавил, старые пока оставил: вреда от них нет. Списки стареют быстро, поэтому перепроверяю их раз в полгода.

Путаница с llms.txt. robots.txt говорит, кому можно читать сайт. llms.txt даёт нейросети короткую карту: кто вы и где главное. Это два разных файла, и работают они вместе. Про второй подробно в статьях llms.txt: новый стандарт для нейросетей и зачем llms.txt сайту.

Как я это делаю для клиентов

1. Снимаю текущий robots.txt и для каждого ИИ-бота выписываю, какая группа на него реально действует с учётом правила «именная группа перекрывает общую».
2. Задаю владельцу один вопрос: готов ли он отдавать тексты на обучение. От ответа зависит, разводить ботов или открывать всех.
3. Проверяю индексацию в Яндекс Вебмастере. YandexAdditional работает только по уже проиндексированным страницам, так что без индекса в ответах Алисы сайта не будет при любом файле.
4. Пишу файл: на Тильде через ручной режим, на своём сервере кладу в корень. Добавляю llms.txt.
5. Через две недели смотрю журнал сервера, если он доступен, Вебмастер и ответы нейросетей по нескольким запросам клиента.

Так же сделано в кейсе с лендингом регионального digital-агентства: явное разрешение ИИ-краулерам в robots.txt плюс отдельный файл с кратким описанием бизнеса.

Проверка robots.txt входит в мой технический аудит сайта, он стоит от 50 000 ₽. Заодно я смотрю 404, битые ссылки и sitemap, как в статье про технический аудит сайта. Все ориентиры собраны на странице цен.

Если задача шире, чтобы Алиса и ChatGPT называли вас по вашим запросам, это GEO-сопровождение «GEO: ответы нейросетей», от 50 000 ₽ в месяц. Подробнее на странице продвижения.

Частые вопросы

Как настроить robots.txt в Тильде под ИИ-краулеров?

Настройки сайта, SEO, «Редактирование robots.txt», режим «Ручное управление». Допишите группы для нужных ботов, сохраните и проверьте файл по адресу вашсайт.ru/robots.txt. После этого запреты из настроек страниц в файл сами не попадают.

Как разрешить ИИ-ботам индексировать сайт?

Проверьте, что общая группа User-agent: * не закрывает сайт и что нет групп GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot или YandexAdditional с Disallow: /. Отдельные группы с разрешением нужны, если хотите развести ответы и обучение или перебить чужой шаблон.

Если закрыть GPTBot, сайт пропадёт из ChatGPT?

По документации OpenAI нет. За поиск в ChatGPT отвечает OAI-SearchBot. Закрыв GPTBot и оставив OAI-SearchBot, вы остаётесь в поиске и выходите из обучения.

Повлияет ли запрет YandexAdditional на позиции в Яндексе?

Справка Яндекса описывает его только как ограничение показа контента в ответах Алисы AI и быстрых ответах с YandexGPT. Индексацией занимается YandexBot. О влиянии на позиции в справке ничего не сказано.

Какой user-agent у GigaChat для robots.txt?

Официального описания я не нашёл, проверял 10 октября 2026 года. Имена из сторонних списков без подтверждения в файл не добавляйте, лучше смотрите журнал сервера.

Коротко о главном

robots.txt для нейросетей это несколько групп User-agent с понятными именами. OpenAI, Anthropic и Google позволяют развести ответы и обучение, PerplexityBot для обучения не используется, показом в ответах Алисы управляет YandexAdditional. Про GigaChat официальных данных нет. В Тильде файл правится в ручном режиме, и после этого следить за ним приходится самому.

Напишите мне в Telegram кодовое слово «РОБОТС», и я посмотрю ваш robots.txt и скажу, каких ИИ-ботов он сейчас пускает, а каких закрывает.