Как ChatGPT ищет информацию и выбирает источники
ChatGPT отвечает из двух источников: из знаний, усвоенных моделью при обучении, и из веб-поиска в реальном времени. Поиск включается, когда нужны свежие данные: вопрос переписывается в один или несколько запросов к поисковым партнерам, найденные страницы анализируются, а ответ собирается со ссылками на источники. Страницы сайтов для поиска обнаруживает робот OAI-SearchBot.
Ниже разобрано, как устроен каждый этап, чем отличаются три робота OpenAI и что известно о том, как ChatGPT выбирает и цитирует источники. Все утверждения о работе системы опираются на документацию OpenAI; там, где OpenAI деталей не раскрывает, это сказано прямо.
Обучающие данные и поиск в реальном времени
Большую часть вопросов ChatGPT закрывает без интернета. Объяснить, что такое SEO, как работает ипотека или зачем нужна пожарная сигнализация, модель может на основе знаний, полученных при обучении. Это не база готовых ответов: модель усвоила закономерности языка и связи между понятиями и формирует ответ заново под конкретную формулировку. Ограничение у этого источника одно, но существенное: знания заканчиваются датой обучения и сами по себе не обновляются.
Поэтому для вопросов о том, что меняется, ChatGPT использует веб-поиск. Помимо этих двух источников, в ответе учитывается контекст разговора, файлы, которые загрузил пользователь, и подключенные им приложения. Последние два варианта не имеют отношения к публичному интернету: документ, загруженный в чат, не попадает в поисковую выдачу ChatGPT.
| Источник | Когда используется | Что это значит для сайта |
|---|---|---|
| Знания модели | Общие вопросы, определения, объяснения | Повлиять быстро нельзя: содержимое сайта попадает сюда, только если оно вошло в обучающие данные |
| Веб-поиск | Цены, новости, компании, товары, местные услуги, все, что меняется | Основной канал: сайт может быть найден, процитирован и получить переход |
| Контекст, файлы, приложения | Пользователь сам дал данные или подключил сервис | К публичной видимости сайта отношения не имеет |
Когда ChatGPT включает поиск
Согласно справке OpenAI о веб-поиске, ChatGPT может искать в интернете автоматически, если вопросу нужна актуальная информация. Пользователь может запустить поиск и вручную: через меню инструментов (пункт Search) или набрав «/» в поле ввода. Поиск доступен на всех тарифах, включая бесплатный, и даже без входа в аккаунт.
На практике граница проходит по свежести данных. Вопрос «что такое контекстная реклама» поиска не требует. Вопросы «какие SEO-агентства работают в Алматы», «сколько сейчас стоит конкретная модель телефона» или «что изменилось в Google в этом месяце» без поиска качественно не закрыть, и именно в таких ответах появляются ссылки на сайты.
Как вопрос превращается в поисковые запросы
ChatGPT не отправляет поисковой системе вопрос пользователя слово в слово. OpenAI описывает это так: поиск обычно переписывает запрос в один или несколько целевых запросов к поисковым партнерам, а после просмотра первых результатов может отправить дополнительные, более конкретные запросы. Если у пользователя включена память, при переписывании могут учитываться сохраненные сведения о нем.
Возьмем вопрос «Какую металлочерепицу выбрать для частного дома в Алматы, чтобы она выдерживала жаркое лето и морозную зиму?». Внутри него несколько тем: толщина металла, типы полимерных покрытий, поведение покрытия при перепадах температур, продавцы в конкретном городе. Система может сначала найти общий обзор, а затем уточнить запрос по конкретному покрытию или производителю. Итоговый ответ складывается из нескольких страниц, и каждая закрывает свою часть вопроса.
Для владельца сайта вывод прямой: страница участвует в ответе не по точному вхождению фразы, а потому, что полно отвечает на один из подзапросов. Узкий, конкретный материал имеет шанс стать источником для своей части ответа, даже если общий запрос он не закрывает.
Откуда берутся результаты поиска
У ChatGPT нет закрытой «базы сайтов», из которой он выбирает. В справке OpenAI сказано, что поиск использует сторонних поисковых провайдеров и контент, который предоставляют партнеры OpenAI. В разделе о передаче данных провайдерам там же даны ссылки на политики конфиденциальности Microsoft и Shopify. Microsoft развивает поисковую систему Bing, поэтому индексация сайта в Bing напрямую связана с шансом попасть в выборку.
Второй канал обнаружения страниц — собственный робот OpenAI. По данным документации о роботах OpenAI, OAI-SearchBot используется, чтобы показывать сайты в результатах поисковых функций ChatGPT. В FAQ для издателей OpenAI прямо пишет, что в поиске ChatGPT может появиться любой публичный сайт, а для попадания контента в сводки и сниппеты нужно не блокировать OAI-SearchBot.
Три робота OpenAI и чем они отличаются
Путаница между роботами OpenAI — одна из самых частых ошибок в robots.txt. Их три, у каждого своя задача, и OpenAI отдельно подчеркивает, что настройки для них независимы друг от друга.
| Робот | Задача | Что дает запрет в robots.txt |
|---|---|---|
| OAI-SearchBot | Обнаружение страниц для поиска ChatGPT | Контент сайта не используется в ответах поиска; ссылка может появиться только как навигационная |
| GPTBot | Сбор контента, который может использоваться для обучения моделей | Сигнал, что материалы сайта не должны использоваться для обучения; на поиск не влияет |
| ChatGPT-User | Заход на страницу по действию пользователя в ChatGPT или Custom GPT | Это не автоматический обход, поэтому правила robots.txt к нему могут не применяться |
Из таблицы следует практичный вариант настройки: сайт может оставаться в поиске ChatGPT и при этом не отдавать материалы для обучения. Для этого OAI-SearchBot разрешают, а GPTBot запрещают. Базовое разрешение для поискового робота выглядит так:
User-agent: OAI-SearchBot
Allow: /
Учтите два ограничения. Первое: после изменения robots.txt системам OpenAI нужно около 24 часов, чтобы учесть новые правила. Второе: разрешение в robots.txt не поможет, если робота отсекает хостинг, CDN или защита от ботов. OpenAI публикует диапазоны IP-адресов каждого робота в JSON-файлах, и именно эти адреса должны пропускать сервер и межсетевой экран.
Есть нюанс и с запретом. Если OAI-SearchBot закрыт, но адрес страницы известен системе из других источников, например от поискового партнера, OpenAI может показать только ссылку и заголовок. Чтобы страница не появлялась совсем, нужен метатег noindex, а прочитать его робот сможет, только если сканирование страницы разрешено.
Как ChatGPT выбирает источники
Официальная формулировка OpenAI короткая: результаты ранжируются по нескольким факторам, цель которых — помочь пользователю найти релевантную и надежную информацию, а место в результатах не гарантируется. Перечня факторов и их веса OpenAI не публикует. Любые таблицы вида «упоминания дают 30%, ссылки 20%» — домыслы, а не документация.
Из того, что известно о механике, можно сделать несколько обоснованных выводов:
- Релевантность считается по подзапросу. Раз вопрос раскладывается на несколько запросов, страница конкурирует за конкретную часть ответа. Материал «Как выбрать толщину металлочерепицы» точнее отвечает на подзапрос о толщине, чем общая страница «Металлочерепица — купить».
- Надежность зависит от темы. Для технических характеристик логичный источник — производитель, для законодательства — официальный ресурс, для сведений о компании — ее собственный сайт. Первичный источник предпочтительнее пересказа пересказа.
- В ответе обычно несколько источников. Сложный вопрос редко закрывается одной страницей, поэтому реалистичная цель — стать лучшим источником для той части темы, где компания действительно компетентна.
- Учитывается местоположение. ChatGPT может определить приблизительное местоположение по IP-адресу и передать поисковым партнерам общую географию, например город. Сам IP-адрес и данные аккаунта провайдерам не передаются. Для локальных запросов «рядом со мной» город и адрес на сайте становятся частью релевантности.
Отдельно о рекламе. OpenAI тестирует рекламные объявления в ChatGPT, но заявляет, что они работают на отдельных от модели системах, помечаются как спонсорские и отделены от ответа, а рекламодатели не могут влиять на ранжирование и содержание ответов. Органическое цитирование в поиске и реклама — разные механизмы.
Как ChatGPT показывает и цитирует источники
Ответы с веб-поиском могут содержать цитаты-ссылки прямо в тексте. Нажатие открывает источник, а в веб-версии на компьютере ссылку можно навести курсором и увидеть превью. Кнопка Sources под ответом, когда она доступна, открывает панель с процитированными источниками и другими релевантными ссылками. В мобильных приложениях для местных запросов может появиться карта.
Для сайта это измеримый канал. По данным OpenAI, ChatGPT автоматически добавляет к переходам параметр utm_source=chatgpt.com, поэтому трафик из ответов виден в Google Analytics, Яндекс Метрике и других системах аналитики как отдельный источник.
OpenAI предупреждает и об обратной стороне: результаты поиска и цитаты могут быть неполными, устаревшими или ошибочными. Модель может сослаться на страницу, которая подтверждает вывод лишь частично. Поэтому в темах, где цена ошибки высока, пользователю стоит открыть источник и проверить дату и автора, а компании — следить, чтобы на ее сайте не оставалось устаревших цен и условий, которые ChatGPT может процитировать.
Почему первое место в Google не гарантирует цитирования
Поиск ChatGPT и выдача Google — разные системы. ChatGPT опирается на собственных поисковых партнеров и своего робота, переписывает вопрос в другие запросы и выбирает страницы под части ответа. Высокие позиции в Google полезны: они говорят о том, что страница доступна, проиндексирована и считается качественной. Но автоматического правила «топ Google равно цитата в ChatGPT» нет, как нет и обратного требования занимать первое место, чтобы попасть в ответ.
Классическое SEO при этом остается фундаментом. Bing в своих рекомендациях для вебмастеров прямо пишет, что практики, помогающие обнаружению, точной индексации и ясности контента, поддерживают и право страницы появляться в ИИ-ответах и цитатах. Техническая чистота, понятная структура и полезный контент работают на оба канала одновременно.
Что из этого следует для владельца сайта
Механика поиска задает порядок работы. Сначала сайт должен быть доступен для OAI-SearchBot и проиндексирован в Bing: без этого остальное не имеет значения. Затем страницы должны давать полные и конкретные ответы на подзапросы, из которых складываются вопросы клиентов. И наконец, информация о компании в интернете должна быть точной и непротиворечивой, потому что ответ собирается из нескольких источников.
Пошаговый план для бизнеса разобран в статье как продвигать сайт в ChatGPT, а перечень того, что проверить на своем сайте, — в чек-листе факторов видимости сайта в ChatGPT. Проверить, видит ли ChatGPT отдельную страницу, поможет инструкция как проверить, видит ли ChatGPT конкретную страницу сайта.
Частые вопросы
Использует ли ChatGPT поиск Google?
OpenAI пишет, что поиск ChatGPT работает со сторонними поисковыми провайдерами и контентом партнеров, а в справке приведены политики конфиденциальности Microsoft и Shopify. Google среди них не назван. Поэтому полагаться только на позиции в Google нельзя: сайт должен быть проиндексирован в Bing и открыт для OAI-SearchBot.
Если запретить GPTBot, сайт пропадет из ChatGPT?
Нет. GPTBot отвечает за сбор контента для обучения моделей, а за поиск отвечает OAI-SearchBot. Настройки этих роботов независимы, поэтому можно запретить GPTBot и оставить сайт в поиске ChatGPT, разрешив OAI-SearchBot.
Как быстро ChatGPT учтет изменения в robots.txt?
По документации OpenAI, системам нужно около 24 часов после обновления robots.txt. Это срок применения правил, а не срок появления в ответах: попадание в цитаты зависит от релевантности страницы и не гарантируется.
Можно ли заплатить OpenAI за место в ответах ChatGPT?
Нет. OpenAI указывает, что место в результатах поиска не гарантируется, а рекламные объявления, которые компания тестирует, по ее заявлению не влияют на ответы и показываются отдельно с пометкой о спонсорстве. На органическое цитирование влияют доступность сайта, качество и конкретность контента.
Почему ChatGPT иногда ссылается на устаревшую информацию?
OpenAI предупреждает, что результаты и цитаты могут быть неполными, устаревшими или ошибочными. Если в ответе фигурируют старые данные о вашей компании, проверьте, где они опубликованы: на вашем сайте, в каталогах или на сторонних ресурсах, и обновите их в первоисточнике.