Situs JavaScript dan Crawler AI: Bisakah Mereka Melihat Halaman Anda?

Mengapa situs yang tampak normal di browser bisa terlihat kosong bagi crawler AI, apa kata Google tentang rendering JavaScript, cara menguji apa yang diterima bot, dan perbaikan yang berhasil untuk situs usaha kecil.

Banyak situs modern mengirim browser file HTML yang nyaris kosong dan sekumpulan JavaScript yang membangun halaman saat tiba. Orang tidak pernah menyadarinya. Crawler mungkin menyadarinya. Jika bot membaca HTML dan tidak menjalankan skripnya, halaman layanan yang Anda tulis dengan cermat, bagi bot itu, hanyalah lembar kosong dengan logo.

Cara Google menanganinya

Dasar-dasar SEO JavaScript dari Google Search Central menjelaskan bahwa Googlebot meng-crawl halaman, mengantrekannya untuk dirender dengan versi Chromium terbaru, lalu mengindeks hasil rendernya. Jadi Google bisa melihat konten JavaScript, meski rendering bisa terjadi lebih lambat dari crawl pertama, dan Google tetap menyarankan server-side rendering atau pre-rendering karena lebih cepat bagi pengguna dan bagi semua crawler. Panduannya juga memperingatkan bahwa tautan harus berupa tag anchor sungguhan dengan href agar bisa diikuti.

Cara crawler AI menanganinya

Perusahaan AI tidak banyak bicara tentang rendering. OpenAI mendokumentasikan OAI-SearchBot dan GPTBot, Perplexity mendokumentasikan PerplexityBot, dan tidak satu pun halaman itu menjanjikan bahwa crawler-nya menjalankan JavaScript. Analisis Vercel pada Desember 2024 tentang lalu lintas crawler di jaringannya menemukan bahwa tidak satu pun crawler AI besar yang diukurnya merender JavaScript, dengan menyebut crawler milik OpenAI dan Anthropic serta PerplexityBot. Analisis itu menemukan dua pengecualian: Gemini, yang memakai infrastruktur Googlebot, dan Applebot. Crawler berubah, jadi anggap itu sebagai potret sesaat, bukan janji.

Asumsi yang aman: jika kata-katanya tidak ada di HTML yang dikirim server Anda, pencarian ChatGPT, Perplexity, dan alat serupa mungkin tidak melihatnya.

Uji apa yang diterima crawler

  1. Buka halaman Anda dan pilih Lihat Sumber Halaman (bukan Inspect, yang menampilkan halaman setelah skrip berjalan). Cari satu kalimat dari judul utama Anda. Jika ada, teksnya berada di HTML mentah.
  2. Di Google Search Console, gunakan Inspeksi URL lalu Lihat Halaman yang Di-crawl untuk melihat HTML yang disimpan Google dan tangkapan layar hasil rendernya.
  3. Dari terminal, ambil halaman dengan permintaan biasa dan baca apa yang kembali. Jika Anda hanya melihat div root dan tag skrip, crawler yang tidak merender tidak mendapat apa-apa.
  4. Matikan JavaScript di pengaturan browser dan muat ulang. Yang tersisa kira-kira adalah apa yang dibaca bot yang tidak merender.

Perbaikan, dari yang paling kokoh

  • Server-side rendering atau static generation. Server mengirim HTML yang sudah jadi. Framework seperti Next.js, Nuxt, dan Astro mendukung ini, dan banyak pembuat situs sudah menghasilkan halaman statis.
  • Pre-rendering. Langkah build atau sebuah layanan menyimpan snapshot HTML lengkap dari setiap halaman. Google menganggap ini dapat diterima selama bot dan manusia mendapat konten yang sama.
  • Taruh fakta penting di HTML awal. Jika membangun ulang tidak memungkinkan, setidaknya render nama, layanan, area, jam buka, dan detail kontak di server.

Hindari dynamic rendering yang memberi bot halaman berbeda dari manusia. Google menggambarkan dynamic rendering sebagai solusi sementara, bukan solusi jangka panjang, dan konten yang berbeda antara bot dan pengunjung sudah masuk ke ranah cloaking.

Jebakan umum di situs usaha kecil

  • Teks yang ditaruh di dalam gambar atau slider, yang tidak dibaca crawler mana pun sebagai teks.
  • Menu yang dibangun dari tombol dengan click handler alih-alih tautan, sehingga halaman dalam tidak pernah ditemukan.
  • Ulasan, harga, atau FAQ yang dimuat dari widget pihak ketiga setelah halaman dimuat.
  • Beranda yang dirender di server sementara halaman dalam tidak.

Periksa setelah setiap desain ulang

Masalah rendering sering datang bersama tema atau plugin baru. Setelah perubahan besar apa pun, ulangi pemeriksaan source halaman pada beranda dan dua halaman dalam.

Situs We.Inc menyajikan halaman dalamnya sebagai HTML yang bisa dibaca Google, dan SEO God Mode membangun di atasnya dengan menambahkan halaman baru yang mudah dibaca dari layanan Anda sendiri setiap minggu.

Pertanyaan yang sering diajukan

Apakah Googlebot menjalankan JavaScript?

Ya. Google merender halaman dengan Chromium terbaru sebelum mengindeks, meski rendering bisa tertinggal dari crawl pertama. Google tetap menyarankan server-side rendering atau pre-rendering jika memungkinkan.

Apakah crawler ChatGPT dan Perplexity menjalankan JavaScript?

Dokumentasi mereka tidak menyebutkannya, dan analisis crawler Vercel tahun 2024 menemukan bahwa mereka tidak merender JavaScript. Taruh teks penting di HTML yang dikirim server Anda.

Bagaimana cara melihat apa yang dilihat crawler?

Gunakan Lihat Sumber Halaman di browser Anda, atau Inspeksi URL dan Lihat Halaman yang Di-crawl di Google Search Console. Jika kata-kata Anda tidak ada di sana, bot yang tidak merender juga melewatkannya.

Mulai gratis · Tanpa kartu kredit

Terkait: Panduan

Produk

Untuk siapa

Fitur

Sumber daya

Perusahaan

Peta situs