Проверка по открытым данным
Проверка robots.txt и sitemap.xml
Проверьте доступность robots.txt и sitemap.xml, статус ответа, тип содержимого и базовые рекомендации для поисковых роботов.
Проверяем техническую доступность стандартных файлов. Это не заменяет полноценную проверку индексации.
Как использовать результат проверки
- Что вводить
- Введите домен, чтобы проверить доступность robots.txt и стандартного sitemap.xml. При необходимости укажите URL и User-Agent.
- Пример интерпретации
- Ответ 200 подтверждает доступность файла на момент запроса. Он не подтверждает, что все URL карты сайта проиндексированы или что поисковый робот имеет доступ через защитный слой.
- Что сделать дальше
- Сверьте директивы с нужной политикой обхода, затем проверьте важные страницы в Search Console и Яндекс Вебмастере.
Ограничения: robots.txt не является авторизацией. Файл sitemap может находиться по нестандартному адресу; отсутствие /sitemap.xml не доказывает отсутствие карты сайта.
Частые вопросы
HTTP 200 у sitemap означает, что страницы в индексе?
Нет. Это лишь доступность файла на момент проверки. Индексирование URL проверяйте в Google Search Console и Яндекс Вебмастере.
robots.txt защищает закрытую информацию?
Нет. Директивы адресованы роботам, соблюдающим их добровольно. Для закрытых данных требуется авторизация на сервере.