Начните с вопроса, который нужно проверить
Зафиксируйте симптом: сайт медленно открывается, формы заполняются мусором, растёт расход API, меняется конверсия или каталог обходят слишком часто. Один и тот же источник может быть безвредным для статичной страницы, но дорогим для поиска и фильтров.
Определите период сравнения и список важных маршрутов. Не делайте вывод о ботах по одному User-Agent или одному IP-адресу.
Что искать в access.log и аналитике
Сгруппируйте запросы по IP или другому доступному идентификатору, User-Agent, маршруту, статусу ответа и времени. Ищите неестественную скорость, повторяющиеся последовательности URL, массовые 4xx/5xx, обращения к дорогим параметрам и отсутствие ожидаемых бизнес-действий.
Сопоставьте технические признаки с отправками форм, заказами, авторизацией и нагрузкой на сервер. Низкая конверсия сама по себе не доказывает атаку, но помогает расставить приоритеты.
- Проверьте robots.txt и доступность сайта для подтверждённых поисковых роботов.
- Сравните всплески запросов с релизами, рекламными кампаниями и легитимными интеграциями.
- Сохраните примеры запросов и временные интервалы до изменения правил.
Переходите от наблюдения к проверяемой реакции
Сначала включите мониторинг или мягкое ограничение на конкретном маршруте. Затем сравните частоту запросов, ошибки, скорость ответа и качество заявок до и после изменения. Реакция должна быть обратимой: ошибочная блокировка может затронуть клиентов, партнёров и индексацию.
Для повторяющихся сценариев используйте rate limiting, серверную валидацию и риск-ориентированные проверки. Внешний аудит показывает только открытые признаки и не заменяет анализ серверных логов.
Частые вопросы
Можно ли определить бота только по IP-адресу?
Нет. IP может быть общим, мобильным или изменяться через прокси. Оценивайте маршрут, частоту, последовательность действий и результат в совокупности.
Как не заблокировать Googlebot или робота Яндекса?
Не доверяйте одному User-Agent. Проверяйте правила robots.txt, сетевой контекст и фактическое поведение, а после изменений контролируйте доступность важных страниц.