GPTBot в robots.txt: как проверить доступ и не спутать с поисковым ботом

Вы увидели GPTBot в robots.txt или логах сайта и не понимаете, разрешён ли ему доступ и повлияет ли запрет на появление страниц в поиске ChatGPT? Чтобы не сделать ложный вывод, нужно проверить не только строку с именем бота, но и правила, которые к нему применяются. Вы узнаете, как найти нужную группу в robots.txt, проверить ограничения для конкретных URL и отделить настройки GPTBot от настроек поискового бота OpenAI.

Само упоминание GPTBot в файле ещё не означает запрет, а запись в логах не доказывает, что все страницы доступны. Ошибка в трактовке правил может привести к ненужной блокировке или, наоборот, оставить открытым раздел, который вы собирались закрыть. Проверка поможет принять решение с учётом задач сайта: что разрешить для обхода, что ограничить и как не спутать это с доступностью страниц для поиска.

Что такое GPTBot и зачем ему доступ к сайту

GPTBot — обходчик OpenAI, который запрашивает страницы сайта для сбора данных, используемых при обучении моделей. Доступ к сайту через robots.txt сам по себе не означает, что компания появится в ответах ChatGPT или её страницы будут показаны в поиске ChatGPT. За поисковый обход отвечает другой агент — OAI-SearchBot, поэтому правила для этих ботов нужно рассматривать отдельно.

Для бизнеса вопрос начинается не с попытки «попасть в ответы», а с выбора материалов, которые допустимо отдавать на обход. Проверьте, есть ли на сайте разделы или страницы, которые вы не хотите предоставлять обходчику. Затем настройте в robots.txt отдельную группу User-agent для GPTBot: директивами Allow и Disallow задайте доступ к выбранным URL. Решение о доступе к страницам и работа над видимостью сайта в поиске — разные задачи.

Если в серверных логах нет запросов GPTBot, это не подтверждает запрет. Обходчик мог ещё не посетить сайт, а записи могли не сохраниться. Для проверки сопоставляйте правила robots.txt с доступностью конкретных URL и ответами сервера; при появлении запросов проверяйте подлинность бота, а не полагайтесь только на User-agent.

GPTBot и OAI-SearchBot — почему для них нужны отдельные правила

GPTBot и OAI-SearchBot выполняют разные задачи, поэтому решение о доступе к сайту принимайте отдельно для каждого. GPTBot связан с обучением моделей, а OAI-SearchBot обнаруживает страницы для поиска ChatGPT. Запрет одному обходчику не означает запрет другому: robots.txt применяет правила к указанному User-agent, а не ко всем ботам OpenAI сразу.

Как разделить правила

Допустим, вы хотите закрыть сайт для GPTBot, но оставить его доступным для поискового обходчика. Тогда в robots.txt нужны две отдельные группы правил:

Обходчик	Группа правил
GPTBot	User-agent: GPTBot Disallow: /
OAI-SearchBot	User-agent: OAI-SearchBot Allow: /

При переносе примера в файл разместите директивы каждой группы на отдельных строках, а группы разделите пустой строкой. Disallow для GPTBot не блокирует OAI-SearchBot: его доступ к URL нужно оценивать по собственной группе и другим ограничениям сайта. Проверьте также доступность страницы, код ответа сервера и серверные логи, чтобы отличить настройку файла от фактического обхода.

Разрешение OAI-SearchBot означает лишь, что указанное правило robots.txt не закрывает ему обход страниц. Оно не обещает показ страницы в поиске ChatGPT, рост видимости сайта или заявки: на результат влияют и другие условия. Если вам нужно отдельно проверить поисковый доступ, изучите проверку доступа OAI-SearchBot и сопоставьте правила с наблюдениями в логах.

Как проверить доступ GPTBot в robots.txt

Откройте /robots.txt на том же протоколе и хосте, где находится нужная страница. Для поддоменов и других версий сайта проверяйте свои адреса файла: правила основного домена нельзя автоматически переносить на поддомен.

Найдите применимую группу правил

1. Найдите строку User-agent: GPTBot и определите, какие Allow и Disallow относятся к этой группе. Не считайте правила соседней группы, например для OAI-SearchBot, правилами для GPTBot.
2. Если отдельной группы GPTBot нет, проверьте общую группу User-agent: *. Отсутствие отдельной записи для бота само по себе не означает запрет обхода.
3. Сопоставьте правила с путём конкретного URL. Disallow: / закрывает все пути только при отсутствии применимых исключений Allow.

Например, в отдельной группе GPTBot указаны такие правила:

User-agent: GPTBot Disallow: /catalog/ Allow: /catalog/open/

Для https://example.kz/catalog/item сначала выберите группу GPTBot, затем сопоставьте правила с путём: совпадает только Disallow, обход закрыт. Для https://example.kz/catalog/open/item подходят оба правила. Более длинное совпадение Allow разрешает обход; при равной длине совпадения приоритет тоже у Allow.

Проверьте страницу отдельно

После разбора robots.txt запросите нужный URL и посмотрите код ответа сервера. Успешный ответ показывает доступность страницы по HTTP, но не доказывает, что файлом robots.txt разрешён её обход. Обратное тоже верно: отсутствие запрета для GPTBot не означает, что страница открывается.

Если важно подтвердить фактические обращения, изучите серверные логи. Запись запроса поможет увидеть обход страниц, но не заменит проверку правил. При проверке подлинности бота не полагайтесь только на указанное в запросе имя User-agent: оно само по себе не подтверждает, кто обратился к сайту. Разделяйте разрешение на обход, доступ к URL и реальные запросы, прежде чем делать выводы о видимости сайта.

Как найти GPTBot в логах и проверить источник запроса

Где искать запросы

В серверных логах обращений отфильтруйте записи по User-Agent GPTBot за нужный период. Если сайт работает через прокси или CDN, уточните, где виден исходный IP-адрес клиента, а не адрес промежуточного сервера.

1. Отметьте время и URL каждого запроса: так вы увидите, какие страницы и когда запрашивали.
2. Проверьте IP-адрес и код ответа. Успешная отдача страницы, перенаправление и ошибка означают разные результаты запроса.
3. Сопоставьте записи с версией robots.txt, действовавшей на момент обращения, если история изменений сохранилась.

Как оценить результат

Строку User-Agent можно подставить, поэтому она не подтверждает подлинность бота. При необходимости сверьте IP-адрес с опубликованными OpenAI диапазонами именно для GPTBot; для OAI-SearchBot нужны диапазоны соответствующего обходчика. Не смешивайте результаты проверки: запросы GPTBot и бота, обслуживающего поиск ChatGPT, учитывайте отдельно.

Запись в логе показывает обращение к URL, но не доказывает, что содержимое страницы затем использовалось. Код ответа отражает результат конкретного запроса, но не заменяет проверку robots.txt и действовавшей группы правил Allow и Disallow. Ответ сервера может зависеть от его настроек, даже если правила обхода разрешают доступ.

Если логов нет или они неполные, запросите доступ у специалиста, который обслуживает сервер или хостинг. Не делайте выводов о видимости сайта по одному инструменту: сопоставьте логи, robots.txt и ответ сервера.

Нужно ли открывать сайт для GPTBot и что проверить после изменения правил

Открывать сайт для GPTBot стоит выборочно: определите, какие публичные материалы вы готовы предоставить для обхода, а какие страницы бизнес предпочитает исключить. Например, можно разрешить обход статей и запретить его для служебных разделов. Это решение не следует приравнивать к видимости сайта в поиске ChatGPT: за поисковый обход отвечает OAI-SearchBot, для которого действуют отдельные правила.

Что проверить после правки

1. Откройте опубликованный robots.txt на сайте, а не локальный файл. Убедитесь, что группа правил для User-agent: GPTBot содержит задуманные Allow или Disallow и что правило относится к нужному пути.
2. Проверьте правило на конкретных URL: вложенные разделы и исключения должны соответствовать вашему решению. Отдельно посмотрите код ответа страницы: разрешение в robots.txt само по себе не делает недоступный URL доступным.
3. После публикации наблюдайте за обращениями в серверных логах. Сопоставляйте запрошенные URL и коды ответа, а при необходимости проверяйте подлинность бота: одного имени User-agent недостаточно. Не ожидайте мгновенного изменения поведения обходчика.

Не используйте robots.txt как способ скрыть непубличные страницы: это инструкция обходчикам, а не ограничение доступа. Для такого содержимого настройте проверку прав на сервере. Если проверяете конкретный URL, проверка доступности страницы покажет ответ сервера лишь на конкретный запрос. Она не подтвердит доступ при каждом способе обращения ChatGPT или показ в его поиске. Переход по ссылке по запросу пользователя — отдельный сценарий, который нельзя оценить только по правилам GPTBot.

Проверьте доступ GPTBot и поискового обходчика отдельно

Чтобы понять, открыт ли обход нужных страниц, проведите три проверки:

• Посмотрите, какое правило robots.txt действует для GPTBot на нужном хосте. Проверьте, не закрыты ли важные URL.
• Найдите обращения с User-agent GPTBot в серверных логах и посмотрите коды ответа. Само правило в robots.txt не показывает, запрашивались ли страницы на практике.
• Отдельно проверьте правила для поискового обходчика OAI-SearchBot. Разрешение для GPTBot не означает, что поисковому обходчику открыт тот же доступ.

Затем проверьте важные публичные страницы: открываются ли они, понятно ли на них предложение и есть ли способ связаться с компанией. Разрешение обхода само по себе не приносит переходов или заявок. Чтобы оценить видимость компании в нейросетях шире технической проверки, узнайте о продвижении в нейросетях.

Частые вопросы