Практический справочник для владельцев сайтов

Справочник поисковых роботов и User-Agent

Ищете User-Agent Googlebot, Яндекс.Бота, Bingbot или AI-краулера? Узнайте назначение каждого клиента, посмотрите пример строки и выберите безопасный способ проверки IP по access-логу. User-Agent — только заявленный клиент, его можно подделать.

Список поисковых роботов, SEO-краулеров и AI-клиентов

Googlebot, Яндекс.Бот и Bingbot: индексирование страниц и проверка подлинности.

Google

Googlebot

Основной поисковый робот Google, который обходит страницы для индексации.

Проверка по обратному и прямому DNS

User-Agent и инструкция

Яндекс

YandexBot

Поисковый робот Яндекса и семейство специализированных роботов его сервисов.

Проверка по обратному и прямому DNS

User-Agent и инструкция

Microsoft Bing

Bingbot

Поисковый робот Bing для обхода и индексации веб-страниц.

Проверка по обратному и прямому DNS

User-Agent и инструкция

SEO-краулеры

Краулеры сервисов анализа ссылок и технического SEO.

Ahrefs

AhrefsBot

SEO-краулер Ahrefs, который собирает данные для анализа ссылок и видимости сайтов.

Проверка по обратному и прямому DNS

User-Agent и инструкция

Semrush

SemrushBot

Краулер Semrush для сбора данных о страницах, ссылках и техническом состоянии сайтов.

Проверка по обратному и прямому DNS

User-Agent и инструкция

AI-краулеры

Клиенты для AI-поиска, сбора контента и действий по запросу пользователя.

OpenAI

GPTBot

Краулер OpenAI для страниц, которые могут использоваться при обучении и улучшении базовых моделей. Не смешивайте его с поисковым OAI-SearchBot.

Проверка по официальным IP-диапазонам

User-Agent и инструкция

OpenAI

OAI-SearchBot

Краулер OpenAI для обнаружения веб-страниц и их показа в поисковых ответах ChatGPT. Его назначение отличается от GPTBot.

Проверка по официальным IP-диапазонам

User-Agent и инструкция

OpenAI

ChatGPT-User

Клиент OpenAI для некоторых действий, инициированных пользователем. Это не автоматический поисковый краулер и robots.txt может к нему не применяться.

Проверка по официальным IP-диапазонам

User-Agent и инструкция

Anthropic

ClaudeBot

Краулер Anthropic, связанный с доступом к веб-контенту для продуктов компании.

IP-проверка не заявлена

User-Agent и инструкция

Anthropic

Claude-SearchBot

Поисковый робот Anthropic для обнаружения и показа веб-страниц в поисковых функциях продуктов Claude.

IP-проверка не заявлена

User-Agent и инструкция

Anthropic

Claude-User

Клиент Anthropic для запросов, инициированных пользователем. Не следует путать его с автоматическим ClaudeBot.

IP-проверка не заявлена

User-Agent и инструкция

Meta

Meta-WebIndexer

Краулер Meta для улучшения поиска Meta AI; публикация IP-диапазонов для независимой проверки здесь не указана.

IP-проверка не заявлена

User-Agent и инструкция

Meta

Meta-ExternalAgent

Краулер Meta для обучения базовых AI-моделей или индексации контента; User-Agent сам по себе не доказывает источник запроса.

IP-проверка не заявлена

User-Agent и инструкция

Meta

Meta-ExternalFetcher

Получает отдельные ссылки по запросу пользователя и может не следовать robots.txt.

IP-проверка не заявлена

User-Agent и инструкция

Социальные превью

Другие автоматические клиенты и превью ссылок.

Meta

FacebookExternalHit

Клиент Meta, который загружает страницы для формирования предпросмотра ссылок.

IP-проверка не заявлена

User-Agent и инструкция

Другие клиенты

Другие автоматические клиенты и превью ссылок.

OpenAI

OAI-AdsBot

Клиент OpenAI для проверки безопасности целевых страниц, отправленных в рекламу ChatGPT. Его назначение не связано с обычной индексацией сайта.

Проверка по официальным IP-диапазонам

User-Agent и инструкция

Как не принять подделку за поискового робота

Сверяйте User-Agent с IP-адресом, временем и URL в access-логе. Для роботов, у которых владелец опубликовал процедуру проверки, используйте её; описание источников и ограничений приведено в методологии.

Вопросы о поисковых роботах

Как проверить, настоящий ли Googlebot или Яндекс.Бот?

Не доверяйте только User-Agent. Сверьте IP из access-лога по обратной и прямой DNS-проверке и следуйте официальной инструкции поисковой системы.

Можно ли определить AI-бота по User-Agent?

Строка User-Agent помогает понять, кем представляется клиент, но её можно подделать. Для части OpenAI-клиентов доступны официальные диапазоны IP; для остальных справочник указывает ограничения.

Чем отличается поисковый бот от SEO-краулера?

Поисковый робот обходит страницы для индекса поисковой системы. SEO-краулер обычно собирает сведения о ссылках, страницах и техническом состоянии для аналитического сервиса.