Generator Robots.txt Gratis: Izinkan, Blokir & Bot AI | We.Inc
Robots.txt generator gratis: izinkan atau blokir semua crawler, disallow folder, tambahkan sitemap Anda, dan pilih apakah crawler AI seperti GPTBot boleh membaca situs Anda.
Bangun file robots.txt yang benar dalam semenit: pilih default untuk semua crawler, daftar folder yang harus dijauhi, tambahkan sitemap Anda, dan putuskan apakah crawler AI boleh membaca konten Anda. Salin hasilnya atau unduh sebagai file.
Pilih aturan default untuk semua crawler: izinkan semuanya (kebanyakan situs) atau blokir semuanya (situs staging).
Tambahkan folder mana pun yang harus dijauhi crawler, satu per baris, seperti /admin/ atau /cart/.
Tempel alamat sitemap Anda supaya mesin pencari bisa menemukan setiap halaman.
Secara opsional blokir crawler pelatihan AI. Lalu salin atau unduh robots.txt dan unggah ke root domain Anda.
robots.txt harus berada persis di yourdomain.com/robots.txt. Di tempat lain diabaikan.
Memblokir halaman di robots.txt tidak menghapusnya dari Google. Untuk menjaga halaman keluar dari hasil, gunakan tag noindex dan biarkan tetap di-crawl.
Jangan pernah blokir folder CSS atau JavaScript Anda; Google butuh itu untuk melihat halaman Anda dengan benar.
Cek file live-nya setelah mengunggah dengan membukanya di browser Anda.
Pertanyaan yang sering diajukan
Apa fungsi robots.txt?
Ini memberi tahu crawler yang berperilaku baik bagian mana dari situs Anda yang boleh mereka minta. Ini permintaan, bukan kunci: tidak melindungi konten privat, dan bot jahat mengabaikannya.
Apakah saya butuh file robots.txt?
Tidak secara ketat. Tanpa satu, crawler menganggap mereka boleh meng-crawl semuanya. Punya satu tetap berguna untuk menunjuk ke sitemap Anda dan menjauhkan crawler dari halaman seperti keranjang dan layar admin.
Haruskah saya memblokir crawler AI?
Ini pilihan bisnis. Memblokir GPTBot, ClaudeBot, Google-Extended, dan crawler serupa meminta mereka untuk tidak memakai konten Anda untuk pelatihan, tapi juga bisa berarti asisten AI tahu lebih sedikit tentang bisnis Anda. Banyak usaha kecil membiarkannya diizinkan supaya jawaban AI bisa merekomendasikan mereka.
Berapa lama sampai perubahannya berlaku?
Google biasanya membaca ulang robots.txt dalam sehari. Anda bisa meminta refresh di laporan robots.txt di Google Search Console.
Bagaimana cara menguji apakah URL diblokir oleh robots.txt?
Gunakan tester di halaman ini. Tempel robots.txt Anda (atau gunakan yang baru Anda buat), masukkan alamat dan nama crawler, seperti Googlebot, dan akan ditampilkan Allowed atau Blocked beserta aturan persis yang memutuskan. Ini menerapkan aturan pencocokan Google di browser Anda dan tidak mengambil file live Anda, jadi tempel versi terbaru dari yourdomain.com/robots.txt.
Jika ada aturan Allow dan Disallow yang cocok, mana yang menang?
Untuk Google, aturan dengan path lebih panjang yang menang karena lebih spesifik. Jika kedua path memiliki panjang yang sama, Allow menang. Crawler lain mungkin menyelesaikan konflik secara berbeda, jadi hindari mengandalkan kesamaan.
Bagaimana aturan robots.txt dibaca
File robots.txt adalah daftar grup. Setiap grup dimulai dengan satu atau lebih baris User-agent yang menamai crawler (atau * untuk semua orang), diikuti baris Allow dan Disallow dengan path URL. Crawler memakai grup paling spesifik yang menamainya, dan dalam satu grup path yang cocok terpanjang menang.
'Disallow: /' memblokir semuanya. 'Disallow:' kosong mengizinkan semuanya. 'Disallow: /admin/' memblokir setiap alamat yang dimulai /admin/. Path bersifat case sensitive.
Default yang masuk akal untuk situs usaha kecil
Izinkan semuanya, blokir folder admin, keranjang, checkout, atau akun apa pun yang dipakai platform Anda, dan daftar sitemap Anda. Itu semua yang dibutuhkan kebanyakan situs. Jangan pakai robots.txt untuk menyembunyikan halaman terima kasih atau halaman duplikat dari Google; tag noindex melakukan itu dengan benar.
Setiap situs yang dipublikasikan dengan We.Inc sudah menyajikan robots.txt dan sitemap secara otomatis, jadi Anda hanya butuh generator ini untuk situs yang dihosting di tempat lain.
Menguji URL sebelum Anda mengunggah
Kesalahan kecil dalam robots.txt bisa memblokir seluruh bagian situs, jadi uji alamat yang penting sebelum mengunggah: homepage, halaman produk atau layanan, postingan blog, dan apa pun yang ingin Anda blokir. Masukkan masing-masing di tester dengan crawler yang Anda pedulikan, biasanya Googlebot, dan periksa bahwa hasilnya dan aturan yang menentukan sesuai ekspektasi.
Wildcard adalah sumber kejutan terbanyak. 'Disallow: /*?sort=' memblokir alamat apa pun yang mengandung ?sort=, dan 'Disallow: /*.pdf$' memblokir alamat yang berakhiran .pdf tapi bukan /file.pdf?download=1. Juga ingat bahwa crawler yang disebutkan dalam grupnya sendiri, seperti Googlebot-Image, mengabaikan grup * sepenuhnya, jadi aturan yang Anda tulis untuk semua orang tidak berlaku untuknya.