Индексация важна для бизнеса, поэтому подтверждённые роботы Яндекса и Google не блокируются. При этом строку Googlebot или YandexBot может указать любой скрипт, и доверять только User-Agent нельзя.
Как подтверждается поисковый робот
Проверка сопоставляет IP с официальным доменом поисковой системы через обратный DNS, затем подтверждает прямое разрешение имени в тот же адрес. Дополнительно учитываются диапазоны и характер запросов.
Разрешающий контур
После подтверждения запрос проходит без защитных проверок, способных помешать обходу страниц. Поддельный бот остаётся в общем контуре и оценивается по обычным правилам.
Что контролировать после подключения
- статусы обхода в Яндекс Вебмастере и Google Search Console;
- ответы 2xx/3xx для важных страниц и файлов robots.txt;
- ошибки 403, 429 и 5xx в журналах;
- изменения скорости обхода и количества проиндексированных страниц.