Сайты на JavaScript и ИИ-роботы: видят ли они ваши страницы?

Почему сайт, который нормально выглядит в браузере, может казаться пустым ИИ-роботам, что Google говорит об отрисовке JavaScript, как проверить, что получают боты, и какие исправления работают для сайтов малого бизнеса.

Многие современные сайты отправляют браузеру почти пустой HTML-файл и пакет JavaScript, который собирает страницу при загрузке. Люди этого не замечают. Роботы могут заметить. Если бот читает HTML и не выполняет скрипты, ваша тщательно написанная страница услуги для него это чистый лист с логотипом.

Как с этим справляется Google

Основы JavaScript SEO от Google Search Central объясняют, что Googlebot сканирует страницу, ставит её в очередь на отрисовку в свежей версии Chromium, а затем индексирует результат. Значит, Google может видеть контент на JavaScript, хотя отрисовка может произойти позже первого сканирования, и Google всё равно рекомендует серверный рендеринг или предварительную отрисовку, потому что это быстрее и для пользователей, и для всех роботов. Там же предупреждают, что ссылки должны быть настоящими тегами-ссылками с атрибутом href, чтобы по ним переходили.

Как с этим справляются ИИ-роботы

ИИ-компании говорят об отрисовке меньше. OpenAI описывает OAI-SearchBot и GPTBot, Perplexity описывает PerplexityBot, и ни на одной из этих страниц не обещается, что робот выполняет JavaScript. Анализ трафика роботов в сети Vercel за декабрь 2024 года показал, что ни один из крупных измеренных ИИ-роботов не отрисовывал JavaScript, и там были названы роботы OpenAI и Anthropic, а также PerplexityBot. Нашлись два исключения: Gemini, который использует инфраструктуру Googlebot, и Applebot. Роботы меняются, поэтому считайте это снимком момента, а не обещанием.

Безопасное допущение: если слов нет в HTML, который отдаёт ваш сервер, поиск ChatGPT, Perplexity и похожие инструменты могут их не увидеть.

Проверьте, что получает робот

  1. Откройте страницу и выберите "Просмотр кода страницы" (а не "Просмотреть код", который показывает страницу после выполнения скриптов). Найдите предложение из главного заголовка. Если оно есть, текст находится в исходном HTML.
  2. В Google Search Console откройте проверку URL, а затем просмотр просканированной страницы, чтобы увидеть сохранённый Google HTML и скриншот отрисовки.
  3. Из терминала загрузите страницу простым запросом и прочитайте ответ. Если там только корневой div и теги скриптов, роботы без отрисовки ничего не получают.
  4. Отключите JavaScript в настройках браузера и перезагрузите страницу. То, что осталось, примерно и читает бот без отрисовки.

Исправления, от самых надёжных к менее надёжным

  • Серверный рендеринг или статическая генерация. Сервер отдаёт готовый HTML. Это поддерживают фреймворки вроде Next.js, Nuxt и Astro, а многие конструкторы сайтов и так создают статические страницы.
  • Предварительная отрисовка. Шаг сборки или сервис сохраняет полный HTML-снимок каждой страницы. Google считает это допустимым, если боты и люди получают одинаковый контент.
  • Важнейшие факты в исходном HTML. Если переделка невозможна, отрисовывайте на сервере хотя бы название, услуги, районы, часы работы и контакты.

Избегайте динамической отрисовки, при которой боты получают не ту страницу, что люди. Google называет динамическую отрисовку временным обходным путём, а не долгосрочным решением, и контент, который различается для ботов и посетителей, переходит в маскировку.

Частые ловушки на сайтах малого бизнеса

  • Текст внутри картинок или слайдеров, который ни один робот не читает как текст.
  • Меню из кнопок с обработчиками кликов вместо ссылок, из-за чего внутренние страницы никогда не обнаруживаются.
  • Отзывы, цены или вопросы и ответы, загружаемые сторонним виджетом после загрузки страницы.
  • Главная страница отрисовывается на сервере, а внутренние нет.

Проверяйте после каждого редизайна

Проблемы с отрисовкой часто приходят вместе с новой темой или плагином. После любого крупного изменения повторите проверку исходного кода на главной и двух внутренних страницах.

Сайты на We.Inc отдают внутренние страницы в виде HTML, который Google может прочитать, а SEO God Mode опирается на это и каждую неделю добавляет новые читаемые страницы на основе ваших услуг.

Частые вопросы

Выполняет ли Googlebot JavaScript?

Да. Google отрисовывает страницы в свежем Chromium перед индексацией, хотя отрисовка может отставать от первого сканирования. Google всё равно рекомендует по возможности серверный рендеринг или предварительную отрисовку.

Выполняют ли роботы ChatGPT и Perplexity JavaScript?

В их документации этого не сказано, а анализ роботов от Vercel за 2024 год показал, что они не отрисовывали JavaScript. Размещайте важный текст в HTML, который отдаёт ваш сервер.

Как увидеть то, что видит робот?

Используйте просмотр кода страницы в браузере или проверку URL и просмотр просканированной страницы в Google Search Console. Если вашего текста там нет, боты без отрисовки его тоже не видят.

Начать бесплатно · Банковская карта не нужна

По теме: Руководства

Продукт

Для кого

Возможности

Ресурсы

Компания

Карта сайта