Googlebot
Основной поисковый робот Google, который обходит страницы для индексации.
Проверка по обратному и прямому DNS
User-Agent и инструкцияBetaАналитика бесплатно; защита — 2 700 ₽/мес. Новым регистрациям — 500 бонусных ₽ на защиту.Beta: аналитика без блокировки — бесплатно; защита — 2 700 ₽/мес. по минутам. Новым регистрациям — 500 бонусных ₽ на защиту.
Практический справочник для владельцев сайтов
Ищете User-Agent Googlebot, Яндекс.Бота, Bingbot или AI-краулера? Узнайте назначение каждого клиента, посмотрите пример строки и выберите безопасный способ проверки IP по access-логу. User-Agent — только заявленный клиент, его можно подделать.
Googlebot, Яндекс.Бот и Bingbot: индексирование страниц и проверка подлинности.
Основной поисковый робот Google, который обходит страницы для индексации.
Проверка по обратному и прямому DNS
User-Agent и инструкцияЯндекс
Поисковый робот Яндекса и семейство специализированных роботов его сервисов.
Проверка по обратному и прямому DNS
User-Agent и инструкцияMicrosoft Bing
Поисковый робот Bing для обхода и индексации веб-страниц.
Проверка по обратному и прямому DNS
User-Agent и инструкцияКраулеры сервисов анализа ссылок и технического SEO.
Ahrefs
SEO-краулер Ahrefs, который собирает данные для анализа ссылок и видимости сайтов.
Проверка по обратному и прямому DNS
User-Agent и инструкцияSemrush
Краулер Semrush для сбора данных о страницах, ссылках и техническом состоянии сайтов.
Проверка по обратному и прямому DNS
User-Agent и инструкцияКлиенты для AI-поиска, сбора контента и действий по запросу пользователя.
OpenAI
Краулер OpenAI для страниц, которые могут использоваться при обучении и улучшении базовых моделей. Не смешивайте его с поисковым OAI-SearchBot.
Проверка по официальным IP-диапазонам
User-Agent и инструкцияOpenAI
Краулер OpenAI для обнаружения веб-страниц и их показа в поисковых ответах ChatGPT. Его назначение отличается от GPTBot.
Проверка по официальным IP-диапазонам
User-Agent и инструкцияOpenAI
Клиент OpenAI для некоторых действий, инициированных пользователем. Это не автоматический поисковый краулер и robots.txt может к нему не применяться.
Проверка по официальным IP-диапазонам
User-Agent и инструкцияAnthropic
Краулер Anthropic, связанный с доступом к веб-контенту для продуктов компании.
IP-проверка не заявлена
User-Agent и инструкцияAnthropic
Поисковый робот Anthropic для обнаружения и показа веб-страниц в поисковых функциях продуктов Claude.
IP-проверка не заявлена
User-Agent и инструкцияAnthropic
Клиент Anthropic для запросов, инициированных пользователем. Не следует путать его с автоматическим ClaudeBot.
IP-проверка не заявлена
User-Agent и инструкцияMeta
Краулер Meta для улучшения поиска Meta AI; публикация IP-диапазонов для независимой проверки здесь не указана.
IP-проверка не заявлена
User-Agent и инструкцияMeta
Краулер Meta для обучения базовых AI-моделей или индексации контента; User-Agent сам по себе не доказывает источник запроса.
IP-проверка не заявлена
User-Agent и инструкцияMeta
Получает отдельные ссылки по запросу пользователя и может не следовать robots.txt.
IP-проверка не заявлена
User-Agent и инструкцияДругие автоматические клиенты и превью ссылок.
Meta
Клиент Meta, который загружает страницы для формирования предпросмотра ссылок.
IP-проверка не заявлена
User-Agent и инструкцияДругие автоматические клиенты и превью ссылок.
OpenAI
Клиент OpenAI для проверки безопасности целевых страниц, отправленных в рекламу ChatGPT. Его назначение не связано с обычной индексацией сайта.
Проверка по официальным IP-диапазонам
User-Agent и инструкцияСверяйте User-Agent с IP-адресом, временем и URL в access-логе. Для роботов, у которых владелец опубликовал процедуру проверки, используйте её; описание источников и ограничений приведено в методологии.
Не доверяйте только User-Agent. Сверьте IP из access-лога по обратной и прямой DNS-проверке и следуйте официальной инструкции поисковой системы.
Строка User-Agent помогает понять, кем представляется клиент, но её можно подделать. Для части OpenAI-клиентов доступны официальные диапазоны IP; для остальных справочник указывает ограничения.
Поисковый робот обходит страницы для индекса поисковой системы. SEO-краулер обычно собирает сведения о ссылках, страницах и техническом состоянии для аналитического сервиса.