Наличие файла
Доступность robots.txt, код ответа и корректный адрес в корне домена.
БЕСПЛАТНЫЙ ИНСТРУМЕНТ · GEO
Проверка доступа AI-краулеров
Узнайте, какие AI-системы могут читать ваш сайт по правилам robots.txt.
ROBOTS.TXT
Введите домен
9 краулеров
—из 9 разрешены
Проверяем
Загружаем правила сайта.
ГОТОВОЕ ПРАВИЛО
Разрешить краулеры AI-поиска
Обучающие боты не включены: доступ к ним настраивается отдельно.
robots.txt
User-agent: OAI-SearchBot Allow: / User-agent: Claude-SearchBot Allow: / User-agent: PerplexityBot Allow: /
Что проверяет инструмент
Доступ к сайту оценивается по фактическим группам и директивам robots.txt.
Общие правила
Ограничения из группы User-agent: *, если отдельного правила для бота нет.
Отдельные боты
Правила OpenAI, Anthropic, Perplexity и управляющий токен Google-Extended.
Тип доступа
AI-поиск, запрос пользователя и обучение моделей показаны раздельно.
КАК ЧИТАТЬ РЕЗУЛЬТАТ
Разрешение зависит от задачи
AI-поиск
Разрешайте поисковые краулеры, если хотите попадать в ответы со ссылками.
Запрос пользователя
Эти агенты открывают страницу, когда человек прямо просит AI ее прочитать.
Обучение
Доступ обучающих ботов можно ограничить независимо от AI-поиска.
ВОПРОСЫ ОБ ИНСТРУМЕНТЕ
FAQ
Отсутствие robots.txt блокирует AI-ботов?+
Нет. Если файл отсутствует, доступ обычно считается разрешенным по умолчанию, хотя серверная защита может блокировать ботов отдельно.
Можно разрешить AI-поиск и запретить обучение?+
Да. Для этого используются разные user-agent: например OAI-SearchBot для поиска и GPTBot для потенциального обучения.
Проверка учитывает Cloudflare и WAF?+
Нет. Инструмент читает robots.txt. Фактический доступ также зависит от CDN, firewall, антибот-защиты и проверки IP.
Что значит частичный доступ?+
Корень сайта доступен, но отдельные папки или типы страниц закрыты директивой Disallow.
Скопировано