Что такое OAI-SearchBot и как проверить его доступ к сайту?
OAI-SearchBot — поисковый робот OpenAI, который используется для обнаружения веб-страниц, способных появляться в поисковых функциях ChatGPT. Если владелец сайта хочет, чтобы его контент мог полноценно использоваться в ChatGPT Search, доступ OAI-SearchBot не следует блокировать.
Но одного разрешения робота недостаточно.
Необходимо проверить:
robots.txt;
meta robots;
HTTP-ответы сервера;
CDN;
Firewall;
Cloudflare и другие системы защиты;
доступ к конкретным страницам;
логи сервера.
Также важно понимать разницу между:
OAI-SearchBot;
GPTBot;
ChatGPT-User.
Они используются OpenAI для разных задач.
Что такое OAI-SearchBot?
OAI-SearchBot — официальный поисковый crawler OpenAI.
Его задача связана именно с поиском.
OpenAI использует OAI-SearchBot для того, чтобы веб-сайты могли появляться в результатах поисковых функций ChatGPT.
Поэтому если компания занимается GEO-продвижением и хочет получать органическую видимость в ChatGPT Search, проверка доступа OAI-SearchBot должна быть одним из первых пунктов технического аудита.
Зачем OAI-SearchBot нужен ChatGPT?
Когда пользователь задает вопрос, требующий актуальной информации из интернета, ChatGPT может использовать веб-поиск и показывать источники.
Например:
«Какие электромобили продаются в Казахстане?»
«Сколько стоит установка брекетов в Алматы?»
«Что такое GEO-продвижение?»
«Какие компании занимаются SEO в Казахстане?»
Для того чтобы содержимое сайта могло быть обнаружено, использовано в сводках и фрагментах и корректно сопровождаться ссылкой, OpenAI рекомендует не блокировать OAI-SearchBot.
OAI-SearchBot и GPTBot — это одно и то же?
Нет.
Это один из наиболее важных моментов.
OAI-SearchBot
Используется для поисковых функций ChatGPT.
Если вы хотите участвовать в поиске ChatGPT, этот робот должен иметь доступ к нужным страницам сайта.
GPTBot
Связан с обходом контента, который потенциально может использоваться для обучения генеративных AI-моделей OpenAI.
Поэтому владелец сайта может, например:
разрешить OAI-SearchBot;
и одновременно:
запретить GPTBot.
OpenAI прямо указывает, что эти настройки независимы друг от друга.
Это означает, что владелец сайта может разрешить использование страниц для поисковой видимости ChatGPT, но запретить их использование для потенциального обучения моделей.
Что такое ChatGPT-User?
Это еще один отдельный user-agent OpenAI.
ChatGPT-User может использоваться, когда конкретный пользователь ChatGPT инициирует обращение к веб-странице.
Например, пользователь просит ChatGPT получить информацию с определенной страницы.
Это не тот же механизм, что автоматический поисковый обход.
ChatGPT-User не используется для определения того, может ли контент появляться в ChatGPT Search.
Для управления автоматическим поисковым обходом используется именно:
OAI-SearchBot.
Кратко: в чем разница?
РоботОсновная задачаOAI-SearchBotПоисковая видимость в ChatGPTGPTBotКонтент, потенциально используемый для обучения моделейChatGPT-UserЗапрос страницы по инициативе пользователя
Поэтому для GEO-аудита в первую очередь проверяем:
OAI-SearchBot.
Нужно ли разрешать GPTBot для продвижения в ChatGPT?
Нет.
OpenAI позволяет управлять OAI-SearchBot и GPTBot независимо.
Например, сайт может использовать следующую логику:
OAI-SearchBot — разрешен.
GPTBot — запрещен.
В таком случае владелец сайта разрешает поисковое обнаружение контента, но сообщает OpenAI, что не хочет предоставлять этот контент для потенциального обучения генеративных моделей.
Поэтому утверждение:
«Чтобы попасть в ChatGPT Search, обязательно нужно разрешить GPTBot»
неверно.
Как разрешить OAI-SearchBot?
Первое место, которое необходимо проверить:
robots.txt
Обычно файл находится в корне сайта:
ваш-домен/robots.txt
Если необходимо явно разрешить робота, используется правило:
User-agent: OAI-SearchBot
Allow: /
Это означает:
OAI-SearchBot может сканировать сайт.
Как запретить OAI-SearchBot?
Если владелец сайта не хочет разрешать автоматический поисковый обход OpenAI, можно использовать:
User-agent: OAI-SearchBot
Disallow: /
Это запрещает OAI-SearchBot сканирование сайта.
Для GEO-продвижения такая настройка, как правило, противоречит задаче получения видимости в ChatGPT Search.
Можно ли разрешить OAI-SearchBot, но запретить GPTBot?
Да.
Например:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
Такая конфигурация означает:
поисковый crawler OpenAI разрешен;
crawler для потенциального обучения моделей запрещен.
Это официально поддерживаемая логика управления доступом.
Нужно ли добавлять OAI-SearchBot в robots.txt, если там ничего не запрещено?
Не всегда.
Если robots.txt уже разрешает обход всем роботам и отдельно не блокирует OAI-SearchBot, специальное правило может не требоваться.
Например:
User-agent: *
Allow: /
Обычно это означает, что обход разрешен всем crawler'ам, подпадающим под правило.
Но при GEO-аудите все равно желательно проверить фактический доступ.
Потому что robots.txt — только один уровень.
Почему одного robots.txt недостаточно?
Очень распространенная ситуация:
robots.txt разрешает OAI-SearchBot.
Но робот все равно не может нормально открыть сайт.
Причиной могут быть:
Cloudflare;
Firewall;
WAF;
антибот-защита;
ограничения хостинга;
географическая блокировка;
защита от DDoS;
JavaScript Challenge;
CAPTCHA;
блокировка IP;
ошибки сервера.
Поэтому проверка:
«В robots.txt стоит Allow»
еще не доказывает, что OAI-SearchBot реально получает страницу.
Проверяйте HTTP-ответ страницы
Для обычной публичной страницы ожидается нормальный HTTP-ответ.
Например:
200 OK
Если crawler получает:
403 Forbidden;
401 Unauthorized;
429 Too Many Requests;
5xx Server Error;
это может мешать доступу.
Особенно внимательно необходимо проверять:
403;
429;
Антибот-системы часто блокируют crawler именно такими ответами.
Проверьте CDN
Если сайт использует CDN, необходимо убедиться, что правила CDN не блокируют OpenAI.
Например, проблема может возникнуть, если:
включена жесткая bot protection;
неизвестные crawler'ы автоматически блокируются;
доступ разрешен только определенным ботам;
используются географические ограничения;
работают специальные WAF-правила.
То есть сервер может быть настроен правильно, а блокировка происходит еще до него.
Проверьте Cloudflare
Для сайтов за Cloudflare это особенно актуально.
Необходимо проверить:
Security Events;
WAF Rules;
Bot Management;
Rate Limiting;
Custom Rules;
Managed Challenge;
JS Challenge.
Если запрос OAI-SearchBot получает Challenge или блокировку, робот может не получить содержимое страницы.
Поэтому при GEO-аудите Cloudflare необходимо проверять отдельно от robots.txt.
Проверьте Firewall
На сервере также может существовать собственный Firewall.
Например:
iptables;
UFW;
ModSecurity;
панель хостинга;
корпоративный WAF;
другие системы безопасности.
Если они блокируют диапазоны IP OpenAI, одного разрешения в robots.txt будет недостаточно.
У OpenAI есть официальные диапазоны IP
OpenAI публикует диапазоны IP, используемые OAI-SearchBot.
Если инфраструктура сайта работает по allowlist, необходимо разрешить соответствующие диапазоны.
Важно:
не копируйте один IP из случайной статьи навсегда.
Диапазоны могут изменяться.
Поэтому необходимо использовать официальный актуальный список OpenAI.
Нельзя проверять OAI-SearchBot только по User-Agent
User-Agent можно подделать.
Любой сторонний бот теоретически способен отправить строку:
OAI-SearchBot.
Поэтому для серьезной серверной настройки нельзя считать сам User-Agent надежным доказательством того, что запрос действительно пришел от инфраструктуры OpenAI.
Если вы создаете специальные правила доступа, используйте официально опубликованные диапазоны IP OpenAI.
Как выглядит User-Agent OAI-SearchBot?
OpenAI публикует пример строки User-Agent.
Версия может изменяться.
Поэтому при настройке не стоит жестко ориентироваться только на конкретный номер версии.
Главная идентификация:
OAI-SearchBot.
Как проверить robots.txt вручную?
Откройте:
ваш-домен/robots.txt
И выполните поиск:
OAI-SearchBot
Проверьте, нет ли:
User-agent: OAI-SearchBot
Disallow: /
Также необходимо посмотреть общие правила:
User-agent: *
Потому что ограничения могут действовать через них.
Пример корректной конфигурации для GEO
Если компания хочет:
появляться в ChatGPT Search;
но не разрешать GPTBot использовать контент для потенциального обучения,
можно использовать:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
Остальные правила robots.txt необходимо формировать исходя из общей SEO-структуры сайта.
Не копируйте этот пример вслепую, если на сайте существуют:
закрытые разделы;
админка;
служебные URL;
фильтры;
параметры;
другие ограничения.
Проверьте отдельные разделы сайта
Иногда главная страница доступна, а важные разделы закрыты.
Например:
/blog/
/services/
/catalog/
/products/
/doctors/
/cases/
Поэтому проверять нужно не только домен в целом.
Проверьте основные типы страниц:
главную;
категории;
услуги;
товары;
статьи;
кейсы;
страницы экспертов.
Проверьте meta robots
На странице может присутствовать:
<meta name="robots" content="noindex">
Если страница имеет noindex, это отдельный сигнал, связанный с индексацией.
Особенно внимательно проверяйте сайты после:
разработки;
редизайна;
миграции;
переноса с тестового домена;
изменения CMS.
Иногда noindex остается после разработки случайно.
Важный нюанс: robots.txt и noindex — не одно и то же
robots.txt управляет доступом crawler'а к странице.
noindex сообщает, что страницу не следует индексировать.
Это разные механизмы.
Более того, если crawler полностью запрещено открывать страницу через robots.txt, он может не увидеть расположенный внутри страницы meta noindex.
Поэтому эти настройки нельзя использовать без понимания их различий.
Что произойдет, если OAI-SearchBot заблокирован?
По актуальной документации OpenAI сайты, отказавшиеся от OAI-SearchBot, не показываются как полноценные источники в ответах ChatGPT Search.
Однако существует нюанс.
Если OpenAI получает URL заблокированной страницы:
через стороннего поискового провайдера;
или через обход других страниц,
и существуют сигналы релевантности, ссылка и заголовок страницы все равно могут появиться как навигационный результат.
То есть:
заблокирован для crawl
не всегда означает:
URL никогда нигде не появится.
Но полноценное использование содержимого страницы ограничивается.
Как полностью исключить страницу?
Если владелец не хочет, чтобы страница появлялась даже как ссылка и заголовок в соответствующих сценариях, OpenAI рекомендует использовать:
noindex.
При этом есть важное условие:
crawler должен иметь возможность открыть страницу, чтобы прочитать этот meta-тег.
Это хороший пример того, почему:
robots.txt;
crawl;
index;
search visibility
нельзя смешивать в одно понятие.
Как проверить OAI-SearchBot через серверные логи?
Это один из лучших способов проверить фактический обход.
В логах сервера можно искать:
OAI-SearchBot
Например, анализируются access logs.
Если crawler посещал сайт, можно увидеть:
дату;
URL;
User-Agent;
HTTP-код;
IP;
частоту обращений.
Это уже показывает реальное взаимодействие робота с сервером.
Что смотреть в логах?
Например:
OAI-SearchBot → / → 200
Хорошо.
OAI-SearchBot → /blog/article/ → 200
Хорошо.
OAI-SearchBot → /services/geo/ → 403
Проблема.
OAI-SearchBot → /products/model-x/ → 429
Возможно, сработал Rate Limiting.
OAI-SearchBot → /article/ → 503
Проблема сервера или защитной системы.
Такой анализ намного информативнее простой проверки robots.txt.
Как убедиться, что IP действительно принадлежит OpenAI?
Берем IP из server logs.
Затем сравниваем его с актуальными официальными диапазонами OpenAI для OAI-SearchBot.
Если адрес соответствует опубликованному диапазону, это дополнительное подтверждение.
Не стоит доверять только названию User-Agent.
Можно ли проверить доступ через curl?
Разработчик может сделать базовую техническую проверку страницы через командную строку.
Например, отправить запрос с User-Agent OAI-SearchBot и посмотреть ответ сервера.
Это может помочь обнаружить:
403;
редиректы;
WAF-правила;
ошибки;
различия в ответах сервера.
Но есть важное ограничение.
Подмена User-Agent не превращает ваш запрос в настоящий запрос OpenAI.
Если Firewall проверяет IP, локальный curl не сможет полностью воспроизвести реальный доступ OAI-SearchBot.
Поэтому curl — диагностический инструмент, а не окончательное доказательство.
Проверяйте редиректы
Важно убедиться, что crawler не попадает в бесконечную цепочку:
HTTP → HTTPS;
www → без www;
страница → другая страница;
языковая версия → автоматический редирект;
геолокация → другой домен.
Особенно опасны:
redirect loop;
слишком сложные цепочки;
редиректы в зависимости от User-Agent;
редиректы по географии.
Основные страницы должны открываться предсказуемо.
Проверьте JavaScript
Основной текст страницы желательно отдавать в доступном HTML.
Если практически все содержимое появляется только после сложного JavaScript-выполнения или взаимодействия пользователя, машинная доступность может быть хуже.
Для SEO/GEO особенно важную информацию лучше иметь в основном HTML:
H1;
основной текст;
описание услуги;
характеристики товара;
автора;
дату;
цены;
FAQ;
ссылки.
Проверьте авторизацию
Если страница доступна только после:
логина;
регистрации;
ввода пароля;
подтверждения возраста;
другого закрытого действия,
поисковый crawler может не получить содержимое.
Если страница предназначена для SEO/GEO-продвижения, основная информация обычно должна быть публичной.
Проверьте CAPTCHA
Иногда сайт показывает CAPTCHA подозрительным посетителям.
Если CAPTCHA появляется перед OAI-SearchBot, crawler может не получить контент.
Проверьте:
Cloudflare;
антибот-систему;
защиту CMS;
серверную защиту.
Проверьте Rate Limiting
Слишком жесткие ограничения количества запросов также могут создавать проблемы.
Например:
первый запрос → 200;
следующие → 429.
Если поисковый crawler регулярно сталкивается с ограничением, обход сайта может быть затруднен.
Необходимо найти баланс между безопасностью и доступностью легитимных crawler'ов.
После изменения robots.txt результат может появиться не мгновенно
Это важный практический момент.
OpenAI указывает, что после изменения robots.txt системам может потребоваться примерно:
до 24 часов
для учета новых настроек.
Поэтому после изменения:
Disallow → Allow
не нужно через пять минут делать вывод:
«OAI-SearchBot все равно не работает».
Дайте системе время обработать изменение.
Как проверить переходы из ChatGPT?
После появления сайта в поиске ChatGPT можно смотреть реальный referral traffic.
OpenAI указывает, что в URL переходов из ChatGPT Search автоматически добавляется:
utm_source=chatgpt.com
Поэтому переходы можно анализировать через системы аналитики.
Например:
Google Analytics 4.
Это позволяет увидеть:
сколько пользователей пришло;
на какие страницы;
как они взаимодействовали с сайтом;
совершали ли конверсии.
Что проверить в Google Analytics?
Можно анализировать:
сеансы из ChatGPT;
landing pages;
engagement;
конверсии;
формы;
звонки;
покупки;
доход.
Так техническая доступность связывается уже с бизнес-результатом.
Можно ли проверить индексацию сайта в ChatGPT?
У ChatGPT нет публичного аналога Google Search Console, в котором владелец сайта может открыть отчет:
«Проиндексировано 1 438 страниц».
Поэтому GEO-аудит приходится проводить несколькими способами:
robots.txt;
логи сервера;
проверка технического доступа;
мониторинг целевых запросов;
анализ цитирований;
анализ переходов.
Нельзя оценивать состояние только одним показателем.
Как провести быстрый аудит OAI-SearchBot?
Можно использовать следующий порядок.
Шаг 1
Откройте:
/robots.txt
Шаг 2
Найдите:
OAI-SearchBot.
Шаг 3
Проверьте:
нет ли Disallow.
Шаг 4
Проверьте общие правила:
User-agent: *
Шаг 5
Откройте несколько важных страниц.
Шаг 6
Проверьте:
HTTP 200;
noindex;
редиректы.
Шаг 7
Проверьте:
Cloudflare;
WAF;
Firewall;
Bot Protection.
Шаг 8
Сравните IP-правила с официальными диапазонами OpenAI.
Шаг 9
Проверьте server logs.
Шаг 10
Найдите реальные обращения OAI-SearchBot.
Шаг 11
Посмотрите HTTP-коды этих обращений.
Шаг 12
После исправлений подождите обновления настроек crawler'а.
Шаг 13
Начните мониторинг целевых запросов в ChatGPT.
Шаг 14
Отслеживайте referral traffic.
Это уже полноценная базовая техническая проверка.
Чек-лист OAI-SearchBot
Для GEO-аудита можно использовать такой список:
robots.txt
OAI-SearchBot не запрещен.
Страницы
Важные URL доступны.
HTTP
Основные страницы возвращают корректный ответ.
Meta robots
Нет случайного noindex.
CDN
Не блокирует OpenAI.
Firewall
Не блокирует официальные диапазоны IP.
Cloudflare
Нет Challenge для crawler'а.
Rate Limiting
Не мешает обходу.
CAPTCHA
Не закрывает контент.
JavaScript
Основная информация доступна без сложного взаимодействия.
Редиректы
Нет циклов и ненужных цепочек.
Server logs
Проверяются реальные обращения.
Аналитика
Отслеживаются переходы из ChatGPT.
Самая распространенная ошибка
Компания начинает GEO-продвижение.
Пишет:
50 статей;
кейсы;
FAQ;
экспертные материалы;
исследования.
Затем спрашивает:
«Почему ChatGPT не использует наш сайт?»
А при технической проверке оказывается:
User-agent: OAI-SearchBot
Disallow: /
Или:
Cloudflare → Block.
Или:
Firewall → 403.
Или:
страницы → noindex.
Поэтому GEO всегда нужно начинать не только с контента.
Сначала необходимо убедиться, что контент вообще технически доступен.
Другая крайность
Есть и обратная ошибка.
Компания разрешает OAI-SearchBot и считает:
«Теперь мы оптимизированы под ChatGPT».
Нет.
Разрешение crawler'а — только технический фундамент.
После этого все равно необходимы:
качественные страницы;
релевантный контент;
экспертность;
актуальные данные;
структура;
внутренняя перелинковка;
собственные исследования;
внешнее присутствие;
Digital PR;
мониторинг.
OAI-SearchBot дает возможность обнаружить информацию.
Он не гарантирует ее использование.
Гарантирует ли разрешение OAI-SearchBot попадание в ChatGPT?
Нет.
Это необходимо разделять.
Разрешение OAI-SearchBot
означает:
вы разрешаете поисковому crawler'у OpenAI получать контент.
Это не означает:
страница обязательно будет показана;
страница обязательно будет процитирована;
компания обязательно будет рекомендована;
сайт получит определенную позицию.
OpenAI не гарантирует размещение в результатах.
Поэтому техническая доступность — необходимая часть стратегии, но не гарантия результата.
Что делать после настройки OAI-SearchBot?
После технической проверки переходите к следующим уровням GEO.
Уровень 1
Техническая доступность.
Уровень 2
Архитектура сайта.
Уровень 3
Коммерческие страницы.
Уровень 4
Экспертный контент.
Уровень 5
Тематические кластеры.
Уровень 6
Эксперты и авторы.
Уровень 7
Собственные данные и кейсы.
Уровень 8
Внешние упоминания.
Уровень 9
Digital PR.
Уровень 10
Мониторинг ChatGPT.
Так OAI-SearchBot становится первым техническим элементом полноценной GEO-стратегии.
Вывод
OAI-SearchBot — официальный поисковый crawler OpenAI, используемый для поисковых функций ChatGPT.
Если вы хотите, чтобы содержимое сайта могло полноценно обнаруживаться и использоваться в ChatGPT Search, необходимо проверить:
robots.txt;
доступ к страницам;
HTTP-коды;
meta robots;
CDN;
Firewall;
Cloudflare;
официальные IP-диапазоны OpenAI;
server logs;
редиректы;
Rate Limiting;
CAPTCHA.
При этом важно различать:
OAI-SearchBot — поиск;
GPTBot — потенциальное обучение моделей;
ChatGPT-User — обращения, инициированные пользователем.
Поэтому сайт может разрешать OAI-SearchBot и одновременно запрещать GPTBot.
Главный принцип:
если ChatGPT технически не может получить ваш контент, никакая GEO-оптимизация текста не исправит эту проблему.
Но и обратное верно:
доступность OAI-SearchBot сама по себе не обеспечивает видимость.
Сначала обеспечиваем технический доступ.
Затем создаем источник, который действительно заслуживает использования в ответе.
Следующая статья
Как проверить, видит ли ChatGPT конкретную страницу сайта?
В следующем материале можно перейти от настройки crawler'а к практической диагностике отдельного URL: robots.txt, noindex, HTTP-коды, логи, доступность контента, цитирование страницы и проверка ее фактической видимости в ChatGPT.