Как проверить, видит ли ChatGPT конкретную страницу

Чтобы проверить, видит ли ChatGPT конкретную страницу, убедитесь, что robots.txt не закрывает её для робота OAI-SearchBot, сервер отдаёт код 200 без цепочки редиректов, основной текст есть в HTML без выполнения JavaScript, на странице нет noindex, а сама она есть в индексе Bing. Затем задайте ChatGPT с включённым поиском вопрос, на который страница отвечает.

Это техническая проверка одного адреса. Она отвечает на вопрос «может ли ChatGPT найти и прочитать страницу», но не на вопрос «как часто ChatGPT рекомендует компанию». Для второго нужен регулярный замер по набору вопросов клиентов — он описан в статье как проверить видимость сайта в ChatGPT.

Какие роботы OpenAI важны для проверки

У OpenAI несколько роботов с разными задачами, и путать их — самая частая ошибка при разборе robots.txt. Официальное описание есть в документации OpenAI о роботах.

Робот	Для чего нужен	Подчиняется robots.txt
OAI-SearchBot	Находит страницы для показа в ответах поиска ChatGPT. Сайты, закрытые для него, не показываются в поисковых ответах	Да
GPTBot	Собирает данные, которые могут использоваться для обучения моделей	Да
ChatGPT-User	Открывает страницы по действию пользователя, например когда в чат вставили ссылку	Может не применяться, так как действие инициирует человек

Для поиска ChatGPT ключевой робот — OAI-SearchBot. Запрет для GPTBot касается обучения моделей и, по документации OpenAI, сам по себе не убирает сайт из поиска. По той же документации, после изменения robots.txt системам OpenAI нужно около суток, чтобы учесть новые правила.

Шаг 1. Проверьте robots.txt

Откройте файл по адресу https://example.kz/robots.txt, подставив свой домен. Найдите в нём группы правил, которые касаются нужной страницы:

• Группа для OAI-SearchBot. Если есть строка User-agent: OAI-SearchBot, робот следует только правилам этой группы и игнорирует общую группу User-agent: *. Проверьте, нет ли в ней Disallow, закрывающего путь страницы, например Disallow: /blog/.
• Общая группа. Если отдельной группы для OAI-SearchBot нет, действуют правила для User-agent: *. Строка Disallow: / в ней закрывает весь сайт для всех роботов, включая OpenAI.
• Маски и параметры. Правила вида Disallow: /*? закрывают адреса с параметрами. Если нужная страница открывается только с параметром в адресе, она окажется недоступной.

Смотрите именно на путь проверяемой страницы. Домен может быть открыт, а раздел, где лежит статья, закрыт отдельным правилом, оставшимся после разработки.

Шаг 2. Проверьте код ответа и редиректы

Страница должна отдавать код 200 по тому адресу, который вы хотите видеть в ответах. Быстрее всего это проверить в терминале командой curl -I https://example.kz/blog/statya/. В ответе обратите внимание на первую строку и заголовок Location.

• 200 — страница доступна, можно переходить к следующему шагу.
• 301 или 302 — страница перенаправляет на другой адрес. Один редирект допустим, но проверять дальше нужно конечный URL. Цепочки из нескольких переходов и редиректы на главную стоит убрать.
• 403 или 429 — сервер, файрвол или CDN блокирует запрос. Такое бывает, когда защита от ботов срабатывает на всех незнакомых роботов.
• 5xx — ошибка сервера. Если она появляется периодически, робот может не получить страницу именно в момент обхода.

Повторите запрос с заголовком робота: curl -I -A "OAI-SearchBot" https://example.kz/blog/statya/. Если с ним код отличается, на сервере есть правило по User-Agent. Учтите ограничение этого способа: он не воспроизводит блокировки по IP-адресам. OpenAI публикует список адресов OAI-SearchBot в файле https://openai.com/searchbot.json — его стоит передать администратору хостинга или CDN, чтобы эти адреса не попадали под защиту от ботов.

Заодно проверьте тег link rel="canonical". Если он указывает на другой адрес, поисковые системы будут считать основной именно его.

Шаг 3. Убедитесь, что текст есть без JavaScript

OpenAI не публикует, выполняет ли OAI-SearchBot JavaScript при обходе страниц. Надёжнее исходить из того, что основной текст должен быть в HTML, который отдаёт сервер, а не появляться после работы скриптов.

Проверка занимает минуту. Скачайте исходный код командой curl -s https://example.kz/blog/statya/ или откройте «Просмотр кода страницы» в браузере и найдите в нём фразу из середины статьи. Если её нет, а в коде только пустой контейнер и подключение скриптов, текст формируется на стороне браузера. Второй способ — отключить JavaScript в настройках браузера и обновить страницу. То, что вы увидите, ближе всего к тому, что получит робот без рендеринга.

Отдельно посмотрите на элементы, которые часто прячут содержимое: вкладки и аккордеоны, подгружающие текст по клику, бесконечную прокрутку, блоки «показать полностью». Если ответ на главный вопрос страницы находится внутри такого элемента, он должен присутствовать в исходном HTML.

Шаг 4. Исключите noindex

OpenAI в ответах для издателей рекомендует использовать метатег noindex, если страницу не нужно показывать в поиске ChatGPT. Значит, случайный noindex может убрать страницу из ответов. Проверьте два места:

• Метатег в коде страницы — meta name="robots" со значением noindex. Такой тег иногда остаётся на страницах, скопированных с тестового сайта.
• HTTP-заголовок X-Robots-Tag: noindex. Его не видно в коде страницы, он виден только в ответе сервера на команду curl -I.

Имейте в виду, что noindex робот увидит только в том случае, если robots.txt разрешает ему загрузить страницу. Поэтому для страниц, которые нужно скрыть, запрет в robots.txt и noindex решают разные задачи.

Шаг 5. Проверьте индексацию в Bing

В мае 2023 года Microsoft объявила Bing поисковой системой по умолчанию для ChatGPT, а OpenAI описывает свой поиск как работающий в том числе со сторонними поисковыми партнёрами. Полный текущий список партнёров OpenAI не раскрывает, поэтому индексация в Bing — не гарантия и не обязательное условие, а дешёвая косвенная проверка того, что страница доступна внешним поисковым системам.

Подтвердите сайт в Bing Webmaster Tools и воспользуйтесь инструментом проверки URL. Он показывает, есть ли адрес в индексе Bing, когда робот его сканировал, а режим живой проверки позволяет увидеть, может ли робот получить страницу прямо сейчас. Если страницы нет в индексе, отправьте её на переобход и проверьте, есть ли она в XML-карте сайта и ведут ли на неё внутренние ссылки.

Шаг 6. Найдите визиты робота в логах сервера

Логи — единственный способ увидеть, заходил ли OAI-SearchBot на страницу на самом деле. Попросите у хостинга журнал доступа за последние недели и найдите строки, где в User-Agent есть OAI-SearchBot, а в адресе — путь вашей страницы. Сверьте IP-адрес из такой строки со списком в https://openai.com/searchbot.json: представиться OAI-SearchBot может любой бот, а подлинные запросы приходят только с опубликованных адресов.

Если робот приходил и получил код 200, техническая часть в порядке. Если приходил и получил 403 или 5xx, проблема в сервере или защите. Если визитов нет совсем, страницу, вероятно, ещё не обнаружили: помогут внутренние ссылки с посещаемых разделов и наличие в карте сайта.

Шаг 7. Проверьте страницу запросом в ChatGPT

Финальная проверка — живой запрос. Откройте новый чат, включите поиск через инструменты в окне сообщения и задайте вопрос, на который отвечает страница, так, как его задал бы клиент. Затем откройте панель «Источники» под ответом: OpenAI описывает её в справке о поиске в ChatGPT. Ищите в списке не домен, а именно проверяемый URL.

Если страница не появилась, попробуйте два-три варианта формулировки и добавьте к вопросу город или название компании. Не стоит делать вывод по одному ответу: состав источников меняется от запроса к запросу.

Отдельно о частой ошибке: вставить ссылку в чат и попросить ChatGPT пересказать страницу — не то же самое. В этом случае страницу открывает ChatGPT-User по действию пользователя, и успешный пересказ доказывает только то, что страница открывается. Попадёт ли она в поисковые ответы, это не показывает.

Как интерпретировать результат

Что обнаружено	Вероятная причина	Что делать
Disallow для OAI-SearchBot или общий запрет	Правило в robots.txt	Открыть путь для OAI-SearchBot и подождать около суток
Код 403 только для роботов	Защита от ботов на сервере или в CDN	Разрешить адреса из searchbot.json
Текста нет в исходном HTML	Контент формируется скриптами	Включить серверный рендеринг или предварительную генерацию страниц
Нет в индексе Bing, нет визитов в логах	Страница не обнаружена	Добавить в карту сайта и внутренние ссылки, отправить на проверку
Технически всё в порядке, но в источниках другие сайты	Контент уступает конкурентам по полноте ответа	Сравнить с цитируемыми страницами и доработать текст

Последняя строка встречается чаще всего. Техническая доступность — необходимое, но недостаточное условие: она даёт ChatGPT возможность прочитать страницу, но не причину её выбрать. Что влияет на выбор, разобрано в статье какие факторы влияют на видимость сайта в ChatGPT, а общая последовательность работ — в материале как продвигать сайт в ChatGPT. Если проверку и правки нужно провести для всего сайта, это входит в работы по продвижению в ChatGPT.

Частые вопросы

Можно ли проверить страницу, просто отправив ссылку в ChatGPT?

Это покажет только то, что страница открывается по запросу пользователя. Такие визиты выполняет ChatGPT-User, а для поисковых ответов страницы находит OAI-SearchBot, поэтому проверять нужно запросом с включённым поиском.

Если закрыть GPTBot, сайт пропадёт из ChatGPT?

По документации OpenAI, GPTBot отвечает за данные для обучения моделей, а показ в поиске ChatGPT зависит от доступа OAI-SearchBot. Закрыв только GPTBot, вы не закрываете сайт для поиска ChatGPT.

Сколько ждать после того, как открыли страницу в robots.txt?

OpenAI указывает, что на учёт изменений в robots.txt уходит около 24 часов. После этого страница должна ещё быть найдена и обойдена, поэтому проверять результат запросом в ChatGPT стоит через несколько дней.

Обязательно ли страница должна быть в индексе Bing?

OpenAI не называет это обязательным условием. Но наличие в Bing подтверждает, что страница доступна и понятна внешним поисковым системам, поэтому эту проверку стоит делать.