Не доверяйте одному User-Agent
Заголовок User-Agent можно подделать. Google рекомендует проверять запросы краулеров по IP и reverse/forward DNS либо опубликованным диапазонам адресов для соответствующего типа робота.
Учитывайте, что у поисковых систем разные категории crawlers и fetchers, а правила robots.txt применяются не ко всем сценариям одинаково.
Согласуйте robots.txt и ограничения
Robots.txt управляет обходом для совместимых роботов, но не является механизмом авторизации и не блокирует всех автоматических клиентов. Не используйте его для секретных URL и не ставьте массовые ограничения без проверки важных страниц.
Для rate limiting исключения подтверждённых поисковых роботов оформляйте на основании официальной проверки и актуальных диапазонов.
Проверьте результат в логах и индексации
После изменения правил проверьте HTTP-ответы главной страницы, robots.txt, sitemap и ключевых посадочных страниц. Сопоставьте логи с отчётами Search Console и доступностью страниц.
Вредный трафик оценивайте отдельно от подтверждённых роботов, мониторингов, платежных систем и партнёрских интеграций.
Частые вопросы
Защитит ли robots.txt от вредного скрейпера?
Нет. Это инструкция для совместимых роботов, а не контроль доступа. Для других клиентов применяются серверные и сетевые меры.
Можно ли разрешать Googlebot по User-Agent?
Одного заголовка недостаточно, его можно подделать. Google описывает проверку через reverse и forward DNS или официальные IP-диапазоны.