Справочник роботов

OpenAI · AI-клиент

GPTBot: User-Agent и проверка IP

Краулер OpenAI для страниц, которые могут использоваться при обучении и улучшении базовых моделей. Не смешивайте его с поисковым OAI-SearchBot. На этой странице — пример строки, официальная документация и способ проверить IP-адрес из серверного access-лога.

Пример User-Agent GPTBot

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.4; +https://openai.com/gptbot)Документация GPTBot

User-Agent можно подделать. Проверка IP по официальному списку диапазонов. Сверяйте IP и время с access-логом; не принимайте решение о блокировке по одной строке.

Проверить GPTBot по IP

IP сверяется с отдельным официальным CIDR-списком владельца этого робота. Введите публичный IPv4 или IPv6 из access-лога; служебные и локальные адреса не проверяются.

Вопросы о GPTBot

Как проверить, что запрос действительно пришёл от GPTBot?

Сопоставьте IP из access-лога с официальными диапазонами OpenAI в форме проверки. Это сильнее, чем User-Agent, который можно подделать.

Можно ли определить GPTBot только по User-Agent?

Нет. User-Agent — строка, которую может указать любой клиент. Используйте её для предварительной классификации, а для подтверждения источника проверяйте IP по официальному списку или DNS-методу, если он поддерживается.

Где посмотреть официальный User-Agent и назначение робота?

Пример строки User-Agent и ссылка на документацию владельца приведены на этой странице. Для полного списка откройте справочник роботов.

Как запретить GPTBot использовать страницы для обучения?

В robots.txt можно управлять обходом GPTBot отдельно от OAI-SearchBot. Запрет GPTBot касается его назначения для обучения и сам по себе не отключает появление сайта в поисковых функциях ChatGPT; сверьте актуальные правила в официальной документации OpenAI.

Похожие роботы и инструменты