Semrush · SEO-краулер
SemrushBot: User-Agent и проверка IP
Краулер Semrush для сбора данных о страницах, ссылках и техническом состоянии сайтов. На этой странице — пример строки, официальная документация и способ проверить IP-адрес из серверного access-лога.
Пример User-Agent SemrushBot
Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)Документация SemrushBotUser-Agent можно подделать. Обратный и прямой DNS. Сверяйте IP и время с access-логом; не принимайте решение о блокировке по одной строке.
Проверить SemrushBot по IP
Проверка выполняет reverse DNS и затем сверяет прямое разрешение найденного имени с исходным IP. Введите публичный IPv4 или IPv6 из access-лога; служебные и локальные адреса не проверяются.
Вопросы о SemrushBot
Как проверить, что запрос действительно пришёл от SemrushBot?
Проверьте обратную DNS-запись IP и убедитесь, что прямое разрешение найденного имени возвращает исходный IP. Затем сверьте домен с официальной инструкцией Semrush.
Можно ли определить SemrushBot только по User-Agent?
Нет. User-Agent — строка, которую может указать любой клиент. Используйте её для предварительной классификации, а для подтверждения источника проверяйте IP по официальному списку или DNS-методу, если он поддерживается.
Где посмотреть официальный User-Agent и назначение робота?
Пример строки User-Agent и ссылка на документацию владельца приведены на этой странице. Для полного списка откройте справочник роботов.