Проверка по открытым данным

Проверка robots.txt и sitemap.xml

Проверьте доступность robots.txt и sitemap.xml, статус ответа, тип содержимого и базовые рекомендации для поисковых роботов.

Проверяем техническую доступность стандартных файлов. Это не заменяет полноценную проверку индексации.

Только публичные данные. Внутренняя сеть не сканируется, значения cookie не сохраняются.

Как использовать результат проверки

Что вводить
Введите домен, чтобы проверить доступность robots.txt и стандартного sitemap.xml. При необходимости укажите URL и User-Agent.
Пример интерпретации
Ответ 200 подтверждает доступность файла на момент запроса. Он не подтверждает, что все URL карты сайта проиндексированы или что поисковый робот имеет доступ через защитный слой.
Что сделать дальше
Сверьте директивы с нужной политикой обхода, затем проверьте важные страницы в Search Console и Яндекс Вебмастере.

Ограничения: robots.txt не является авторизацией. Файл sitemap может находиться по нестандартному адресу; отсутствие /sitemap.xml не доказывает отсутствие карты сайта.

Частые вопросы

HTTP 200 у sitemap означает, что страницы в индексе?

Нет. Это лишь доступность файла на момент проверки. Индексирование URL проверяйте в Google Search Console и Яндекс Вебмастере.

robots.txt защищает закрытую информацию?

Нет. Директивы адресованы роботам, соблюдающим их добровольно. Для закрытых данных требуется авторизация на сервере.