robots.txt untuk Bot AI: Mana yang Diizinkan dan Mana yang Diblokir

Panduan praktis tentang crawler AI yang mengunjungi situs usaha kecil, fungsi masing-masing menurut pemiliknya, dan aturan robots.txt yang membuat Anda tetap muncul di jawaban pencarian AI sambil menolak pelatihan jika Anda mau.

Perusahaan AI kini mengirim beberapa crawler yang berbeda, dan masing-masing punya tugas berbeda. Sebagian mengumpulkan data pelatihan. Sebagian membangun indeks pencarian yang jawabannya menautkan balik ke situs. Sebagian mengambil satu halaman karena seorang pengguna bertanya. Memblokir semuanya dalam satu baris terasa aman, tetapi bisa diam-diam menghapus bisnis dari jawaban pencarian AI yang mendatangkan pelanggan nyata.

Cara kerja robots.txt

robots.txt adalah file teks biasa di root domain Anda. Setiap grup dimulai dengan baris User-agent yang menyebut sebuah crawler, diikuti aturan Allow atau Disallow. Formatnya distandarkan dalam RFC 9309. File ini adalah permintaan, bukan kunci: crawler yang bereputasi mematuhinya, tetapi file ini tidak melindungi konten pribadi, dan dokumentasi Google mencatat bahwa memblokir crawling saja tidak menghapus halaman dari indeks.

Crawler AI utama dan apa fungsinya menurut pemiliknya

  • OAI-SearchBot (OpenAI): dipakai untuk menampilkan situs di hasil pencarian ChatGPT. Dokumentasi crawler OpenAI menyebutkan situs yang memblokirnya tidak akan ditampilkan di jawaban pencarian ChatGPT, meski mungkin masih muncul sebagai tautan navigasi biasa.
  • GPTBot (OpenAI): mengumpulkan konten yang mungkin dipakai untuk melatih model OpenAI. Memblokirnya adalah cara resmi yang didokumentasikan OpenAI untuk menolak pelatihan, dan tidak bergantung pada OAI-SearchBot.
  • ChatGPT-User (OpenAI): mengambil halaman saat permintaan seseorang membutuhkannya. OpenAI mencatat aturan robots.txt mungkin tidak berlaku untuk kunjungan yang dipicu pengguna ini.
  • Google-Extended (Google): bukan crawler terpisah, melainkan token produk. Melarangnya memberi tahu Google untuk tidak memakai konten Anda guna melatih model Gemini mendatang atau sebagai dasar di sebagian sistem AI lainnya. Google Search Central mengatakan hal itu tidak memengaruhi keikutsertaan atau peringkat di Google Search, dan AI Overviews diatur oleh Googlebot dan kontrol snippet yang biasa.
  • PerplexityBot (Perplexity): mengindeks halaman untuk jawaban Perplexity dan, menurut dokumentasi Perplexity, tidak dipakai untuk pelatihan model. Perplexity-User mengambil halaman atas nama pengguna dan umumnya mengabaikan robots.txt.
  • Bingbot (Microsoft): menyuplai Bing, yang menjadi dasar Microsoft Copilot. Memblokirnya menghapus Anda dari keduanya.
  • ClaudeBot dan Claude-SearchBot (Anthropic): Anthropic mendokumentasikan agen terpisah untuk pelatihan dan untuk pencarian, dan mengatakan keduanya mematuhi robots.txt.
  • Applebot dan Applebot-Extended (Apple): Applebot menjalankan fitur pencarian di Spotlight, Siri, dan Safari; Applebot-Extended memungkinkan Anda menolak Apple memakai konten untuk melatih model dasarnya, tanpa memengaruhi pencarian.

Pengaturan yang masuk akal untuk bisnis lokal

Sebagian besar usaha kecil ingin ditemukan dan disebut dalam jawaban. Pengaturan yang umum dan seimbang mengizinkan crawler pencarian dan memutuskan soal pelatihan secara terpisah. Misalnya, agar tetap muncul di pencarian ChatGPT dan Perplexity sambil menolak pelatihan OpenAI dan Google:

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Apakah akan menolak pelatihan adalah pilihan bisnis. Berada di data pelatihan bisa membuat model lebih mengenal nama Anda; menolaknya menjaga teks Anda keluar dari pembuatan model mendatang. Tidak satu pun pilihan memengaruhi peringkat Google Search.

Tempat lain bot bisa terblokir

Periksa pengaturan CDN dan keamanan Anda selain robots.txt. Sebagian firewall hosting dan fitur manajemen bot memblokir crawler AI secara bawaan, yang mengalahkan robots.txt yang terbuka. Jika Anda memakainya, cari pengaturan crawler AI dan pastikan agen pencarian yang Anda inginkan diizinkan.

Uji file Anda

Buka yoursite.com/robots.txt di browser untuk memastikan file itu termuat. Google Search Console punya laporan robots.txt yang menunjukkan versi yang diambil Google dan kesalahan apa pun. Bing Webmaster Tools menyediakan penguji robots.txt. Periksa lagi setelah pindah hosting atau memasang plugin keamanan.

Setelah bot yang tepat bisa menjangkau Anda, mereka membutuhkan halaman yang layak dibaca, dan di situlah SEO God Mode berperan di situs We.Inc, menyarankan topik mingguan dari layanan Anda sendiri dan menyusun artikel yang Anda setujui.

Pertanyaan yang sering diajukan

Jika saya memblokir GPTBot, apakah saya hilang dari pencarian ChatGPT?

Tidak menurut OpenAI. GPTBot adalah crawler pelatihan; pencarian ChatGPT memakai OAI-SearchBot. Mengizinkan yang satu sambil memblokir yang lain tidak masalah.

Apakah memblokir Google-Extended menghapus saya dari AI Overviews?

Tidak. Google mengatakan Google-Extended mengatur penggunaan konten untuk pelatihan Gemini dan tidak memengaruhi Google Search, termasuk AI Overviews, yang memakai Googlebot.

Apakah robots.txt cukup untuk menjaga konten tetap pribadi?

Tidak. File itu adalah permintaan yang dipatuhi crawler yang berperilaku baik. Apa pun yang benar-benar pribadi butuh login atau perlindungan kata sandi, dan noindex adalah alat untuk menjaga halaman keluar dari hasil pencarian.

Mulai gratis · Tanpa kartu kredit

Terkait: Panduan

Produk

Untuk siapa

Fitur

Sumber daya

Perusahaan

Peta situs