Справочник роботов

Google · поисковый робот

Googlebot: User-Agent и проверка IP

Основной поисковый робот Google, который обходит страницы для индексации. На этой странице — пример строки, официальная документация и способ проверить IP-адрес из серверного access-лога.

Пример User-Agent Googlebot

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)Проверка роботов Google

User-Agent можно подделать. Обратный и прямой DNS. Сверяйте IP и время с access-логом; не принимайте решение о блокировке по одной строке.

Проверить Googlebot по IP

Проверка выполняет reverse DNS и затем сверяет прямое разрешение найденного имени с исходным IP. Введите публичный IPv4 или IPv6 из access-лога; служебные и локальные адреса не проверяются.

Вопросы о Googlebot

Как проверить, что запрос действительно пришёл от Googlebot?

Проверьте обратную DNS-запись IP и убедитесь, что прямое разрешение найденного имени возвращает исходный IP. Затем сверьте домен с официальной инструкцией Google.

Можно ли определить Googlebot только по User-Agent?

Нет. User-Agent — строка, которую может указать любой клиент. Используйте её для предварительной классификации, а для подтверждения источника проверяйте IP по официальному списку или DNS-методу, если он поддерживается.

Где посмотреть официальный User-Agent и назначение робота?

Пример строки User-Agent и ссылка на документацию владельца приведены на этой странице. Для полного списка откройте справочник роботов.

Учитывает ли Googlebot правила robots.txt?

Google относит обычный Googlebot к common crawlers и указывает, что эта категория соблюдает robots.txt при автоматическом обходе. У специальных и пользовательских fetcher-ов Google могут быть другие правила.

Похожие роботы и инструменты