Google-Extended что это: как настроить без блокировки Googlebot

Вы увидели Google-Extended в robots.txt и задаётесь вопросом: что это за директива, повлияет ли запрет на поиск Google и нужно ли менять настройки сайта компании? Разобраться стоит до правок: случайно закрыв доступ поисковому роботу, можно потерять видимость страниц и часть заявок из поиска.

Google-Extended позволяет управлять использованием материалов сайта в отдельных продуктах Google на базе ИИ. Это не замена правил для Googlebot: запрет для Google-Extended сам по себе не мешает индексации и не убирает страницы из обычной выдачи. Вы узнаете, как различать эти настройки в robots.txt, что проверить перед изменениями и как принять решение с учётом задач бизнеса. Если вам важны заявки из поиска, сначала проверьте действующие правила обхода и только затем решайте, нужен ли отдельный запрет.

Google-Extended — что это и что он делает

Google-Extended — токен управления доступом в robots.txt. Он позволяет владельцу сайта разрешить или запретить определённые способы использования содержимого сайта в продуктах Google с ИИ. Это не отдельный поисковый робот и не инструмент повышения поисковой видимости.

Что меняется при настройке

Если вы хотите ограничить такое использование контента, добавьте в robots.txt группу User-agent для Google-Extended с директивой Disallow. Если ограничение не требуется, отдельный запрет не нужен: отсутствие правила Google-Extended само по себе не означает автоматического запрета. Перед правкой проверьте уже действующие правила для роботов, чтобы не изменить доступ к сайту по ошибке.

Google-Extended не заменяет правила для Googlebot. Его настройка сама по себе не закрывает обход сайта поисковым роботом, не исключает страницы из индекса и не улучшает позиции в поиске. Если ваша задача — управлять индексацией страниц услуг и получать больше заявок с сайта, проверяйте доступ поискового робота, настройки индексации и содержание страниц отдельно.

Что проверить перед публикацией

Сверьте по официальной документации Google, на какие продукты Google с ИИ и способы использования контента распространяется токен на момент публикации: названия продуктов и условия их работы могут меняться. Затем проверьте robots.txt основного домена и нужных поддоменов сайта: для каждого хоста действуют свои правила. Так вы не перепутаете ограничение использования материалов с управлением поисковым трафиком.

Google-Extended и Googlebot — в чём разница для поиска

Чем отличаются правила обхода и использования контента

Поисковый робот Googlebot обходит страницы, чтобы поисковая система могла обработать их для индексации. Токен Google-Extended в robots.txt задаёт правила использования содержимого сайта в предусмотренных Google сценариях с ИИ. Это разные задачи: директива Disallow для Google-Extended не равна запрету обхода для Googlebot.

Если вы ограничиваете только Google-Extended, это само по себе не закрывает сайт для Googlebot и не удаляет страницы из поиска. Поисковый робот по-прежнему может обходить доступные ему страницы услуг. Но прежние позиции, трафик и количество заявок с сайта не становятся неизменными: они зависят и от других факторов, включая состояние страниц.

Когда robots.txt влияет на обход

Иная ситуация — ошибочная блокировка Googlebot или всего сайта в robots.txt. Она может ограничить доступ поискового робота к страницам и помешать ему получать их актуальное содержимое. При этом запрет обхода не означает мгновенного удаления URL из результатов: страница может ещё отображаться в поиске.

Перед изменением файла проверьте, к какой группе User-agent относится каждая директива Disallow и не закрывает ли она нужные для поиска разделы. Если у сайта есть поддомены, проверьте robots.txt для каждого отдельно. Так вы сможете разделить настройки поисковой видимости и правила использования контента в продуктах Google с ИИ. Продолжить тему поможет статья о различиях SEO и GEO.

Как добавить Google-Extended в robots.txt без блокировки Googlebot

Чтобы ограничить использование контента сайта в продуктах Google с ИИ, не закрывая доступ поисковому роботу Google, добавьте в robots.txt отдельную группу правил:

User-agent: Google-Extended

Disallow: /

Эти строки должны образовывать собственную группу. Не размещайте строки для Google-Extended и Googlebot подряд перед общими запретами: тогда правило может затронуть доступ поискового робота. Отделите новую группу пустой строкой от других групп и проверьте, какие директивы относятся к каждому роботу.

Если ограничение нужно лишь для раздела

Вместо «Disallow: /» укажите путь, например «Disallow: /primer/». Это условный пример, а не предположение о структуре вашего сайта: такая запись закрывает указанный путь и вложенные страницы для Google-Extended, но не весь сайт. Перед изменением убедитесь, что путь соответствует нужному разделу и не захватывает другое содержимое.

Размещение и проверка

Размещайте правило в доступном robots.txt нужного хоста: у поддоменов сайта файлы и правила могут отличаться. Не заменяйте весь действующий robots.txt двумя строками: в нём могут быть другие правила для роботов. Сначала согласуйте правку с техническим специалистом, затем проверьте файл и доступ поискового робота Google к страницам услуг.

Ограничение для Google-Extended касается использования контента в продуктах Google с ИИ; само по себе оно не закрывает обход сайта и индексацию страниц поисковым роботом Google. Ошибка в его группе правил, напротив, способна повлиять на поисковую видимость страниц услуг и заявки с сайта.

Как проверить Google-Extended после изменения файла

После изменения файла проверьте две вещи: правило для Google-Extended применяется к нужным URL, а доступ Googlebot к поисковым страницам не изменился. Само наличие директивы в robots.txt не показывает, как изменятся поисковая видимость и заявки с сайта.

Проверка файла и правил

1. Откройте опубликованный /robots.txt на каждом нужном хосте и поддомене. Убедитесь, что файл доступен, названия User-agent и директив написаны без ошибок, а каждое правило стоит на отдельной строке. Не проверяйте вместо опубликованного файла копию, подготовленную для загрузки.
2. Выберите URL для проверки, в том числе страницы услуг. Для каждого URL отдельно определите применимую группу правил для Google-Extended и применимую группу для Googlebot. Если подходящей группы для токена нет, проверьте общую группу User-agent: *. При нескольких подходящих группах с одинаковым User-agent учитывайте их правила вместе.
3. Для каждого токена сопоставьте путь URL со всеми подходящими Allow и Disallow в его группе. Ориентируйтесь на наиболее конкретное совпадение: более длинное правило имеет приоритет, а при равной длине разрешающее правило Allow — преимущество. Так вы увидите результат для конкретного URL, а не только наличие Disallow в файле. Не считайте доступность для Googlebot подтверждением правила для Google-Extended.

Что покажут инструменты Google

Используйте доступную в инструментах Google проверку robots.txt, а для важных страниц — проверку доступности и индексации, где она применима. Если инструмент не позволяет выбрать Google-Extended, определяйте результат по опубликованному файлу отдельно для каждого URL и хоста.

Это техническая проверка правил для роботов, а не оценка использования контента продуктами Google с ИИ. Не ожидайте отдельного отчёта об этом использовании. Показы и заявки оценивайте отдельно по данным сайта и поиска, не приписывая их изменения одной директиве.

Нужно ли разрешать Google-Extended сайту компании

Критерий выбора

Решайте не по принципу «разрешить всем или запретить всё», а по типу материалов. Определите, какие страницы компания готова сделать доступными для сценариев использования в продуктах Google с ИИ, охватываемых токеном Google-Extended, а какие хочет ограничить. Если сайт использует поддомены, учитывайте их отдельно при настройке правил для роботов.

Страницы услуг и другие материалы

Для открытых страниц услуг, рассчитанных на привлечение клиентов, отсутствие ограничения может быть осознанным выбором. Для материалов, использование которых компания намерена ограничить, оцените, какие разделы нужно затронуть и можно ли отделить их правилами в robots.txt. Универсального решения нет: важно соотнести настройки с назначением конкретных страниц.

Google-Extended не заменяет настройку доступа Googlebot и сам по себе не убирает страницы из поиска. Проверьте, открыты ли страницы услуг для обхода и индексации, ясно ли изложено предложение и удобно ли отправить заявку. Без этого решение о сценариях с ИИ не поможет получать заявки с сайта.

Учтите и границы настройки: правило в robots.txt не управляет всеми сторонними ИИ-сервисами и не отменяет уже состоявшееся использование материалов. Следующий шаг — подготовка сайта к ИИ: в статье разобрано, как работать с содержимым сайта для Google AI и ChatGPT.

Google-Extended: проверьте доступ к страницам и путь к заявке

Google-Extended регулирует отдельный способ использования содержимого сайта и не заменяет настройки доступа для Googlebot. Поэтому изменение директивы само по себе не отвечает на два практических вопроса: доступны ли страницы поисковому роботу и может ли посетитель перейти от страницы услуги к заявке. Эти проверки стоит проводить отдельно. Сначала зафиксируйте, зачем меняете настройку, затем проверьте robots.txt, доступность страниц услуг для Googlebot и работу форм связи. Сравните состояние сайта до и после изменения: так проще заметить, если новые правила затронули страницы, которые должны оставаться открытыми для поиска.

Если вы рассматриваете продвижение в нейросетях, не связывайте эту задачу с настройкой Google-Extended напрямую: доступность страниц и путь к заявке оценивайте отдельно. Выводы сопоставьте с исходной целью изменения.

Частые вопросы