Ücretsiz Robots.txt Oluşturucu: Allow, Disallow ve YZ Botları | We.Inc
Ücretsiz robots.txt oluşturucu: tüm tarayıcılara izin verin veya engelleyin, klasörleri yasaklayın, site haritanızı ekleyin ve GPTBot gibi yapay zeka tarayıcılarının sitenizi okuyup okuyamayacağını seçin.
Bir dakikada doğru bir robots.txt dosyası kurun: tüm tarayıcılar için bir varsayılan seçin, dışarıda tutulacak klasörleri listeleyin, site haritanızı ekleyin ve yapay zeka tarayıcılarının içeriğinizi okuyup okuyamayacağına karar verin. Sonucu kopyalayın veya bir dosya olarak indirin.
Tüm tarayıcılar için varsayılan kuralı seçin: her şeye izin ver (çoğu site) veya her şeyi engelle (hazırlık siteleri).
Tarayıcıları dışarıda tutmak istediğiniz klasörleri, satır başına bir tane, örneğin /admin/ veya /cart/ gibi ekleyin.
Arama motorlarının her sayfayı bulabilmesi için site haritanızın adresini yapıştırın.
İsteğe bağlı olarak yapay zeka eğitim tarayıcılarını engelleyin. Sonra robots.txt'i kopyalayın veya indirin ve alan adınızın köküne yükleyin.
robots.txt tam olarak yourdomain.com/robots.txt adresinde bulunmalıdır. Başka bir yer yok sayılır.
robots.txt'te bir sayfayı engellemek onu Google'dan kaldırmaz. Bir sayfayı sonuçların dışında tutmak için bir noindex etiketi kullanın ve taranmasına izin verin.
CSS veya JavaScript klasörlerinizi asla engellemeyin; Google sayfanızı düzgün görebilmek için onlara ihtiyaç duyar.
Yükledikten sonra canlı dosyayı tarayıcınızda açarak kontrol edin.
Sıkça sorulan sorular
robots.txt ne işe yarar?
Kurallara uyan tarayıcılara sitenizin hangi bölümlerini isteyebileceklerini söyler. Bu bir kilit değil, bir istektir: özel içeriği korumaz ve kötü niyetli botlar onu yok sayar.
Bir robots.txt dosyasına ihtiyacım var mı?
Kesinlikle değil. Bir tane olmadan, tarayıcılar her şeyi tarayabileceklerini varsayar. Yine de bir tane bulundurmak, site haritanıza işaret etmek ve tarayıcıları sepetler ve yönetim ekranları gibi sayfaların dışında tutmak için kullanışlıdır.
Yapay zeka tarayıcılarını engellemeli miyim?
Bu bir iş kararıdır. GPTBot, ClaudeBot, Google-Extended ve benzeri tarayıcıları engellemek, içeriğinizi eğitim için kullanmamalarını ister, ama aynı zamanda yapay zeka asistanlarının işletmeniz hakkında daha az bilgi sahibi olması anlamına da gelebilir. Birçok küçük işletme, yapay zeka yanıtları onları önerebilsin diye onlara izin vermeyi tercih ediyor.
Değişiklikler ne kadar sürede etkili olur?
Google genellikle robots.txt'i bir gün içinde yeniden okur. Google Search Console'daki robots.txt raporunda bir yenileme isteyebilirsiniz.
Bir URL'nin robots.txt tarafından engellenip engellenmediğini nasıl test ederim?
Bu sayfadaki test aracını kullanın. robots.txt'inizi yapıştırın (veya az önce oluşturduğunuzu kullanın), adresi ve Googlebot gibi tarayıcı adını girin; araç hangi kuralın karar verdiğini göstererek İzin Verildi veya Engellendi sonucunu gösterir. Google'ın eşleme kurallarını tarayıcınızda uygular ve canlı dosyanızı getirmez; bu nedenle yourdomain.com/robots.txt adresindeki güncel sürümü yapıştırın.
Hem Allow hem de Disallow kuralı eşleşirse hangisi kazanır?
Google için daha uzun yola sahip kural kazanır, çünkü o daha spesifiktir. Her iki yol da aynı uzunluktaysa Allow kazanır. Diğer tarayıcılar çakışmaları farklı çözebilir, bu yüzden eşit uzunluktaki kurallara güvenmekten kaçının.
robots.txt kuralları nasıl okunur
Bir robots.txt dosyası bir grup listesidir. Her grup, bir tarayıcıyı adlandıran (ya da herkes için *) bir veya daha fazla User-agent satırıyla başlar, ardından URL yolları içeren Allow ve Disallow satırları gelir. Bir tarayıcı, kendisini adlandıran en spesifik grubu kullanır ve bir grup içinde en uzun eşleşen yol kazanır.
'Disallow: /' her şeyi engeller. Boş bir 'Disallow:' her şeye izin verir. 'Disallow: /admin/', /admin/ ile başlayan her adresi engeller. Yollar büyük/küçük harfe duyarlıdır.
Küçük bir işletme sitesi için makul bir varsayılan
Her şeye izin verin, platformunuzun kullandığı yönetim, sepet, ödeme veya hesap klasörlerini engelleyin ve site haritanızı listeleyin. Çoğu sitenin ihtiyacı olan tek şey budur. Teşekkür sayfalarını veya yinelenen sayfaları Google'dan gizlemek için robots.txt kullanmayın; bu işi bir noindex etiketi düzgün şekilde yapar.
We.Inc ile yayınlanan her site zaten otomatik olarak bir robots.txt ve bir site haritası sunar, bu yüzden bu oluşturucuya yalnızca başka bir yerde barındırılan siteler için ihtiyacınız var.
Yüklemeden önce bir URL test etme
robots.txt'deki küçük bir hata sitenin tamamını engelleyebilir; bu nedenle yüklemeden önce önemli adresleri test edin: ana sayfanız, bir ürün veya hizmet sayfası, bir blog yazısı ve engellemeyi planladığınız her şey. Her birini, genellikle Googlebot olan önem verdiğiniz tarayıcıyla test aracına girin ve sonucun ve karar veren kuralın beklediğinizle uyuştuğunu kontrol edin.
Joker karakterler en çok sürprize yol açar. 'Disallow: /*?sort=' ?sort= içeren her adresi engeller; 'Disallow: /*.pdf$' ise .pdf ile biten adresleri engeller ama /file.pdf?download=1'i engellemez. Ayrıca Googlebot-Image gibi kendi grubunda adlandırılan bir tarayıcının * grubunu tamamen yok saydığını unutmayın; bu nedenle herkes için yazdığınız kurallar ona uygulanmaz.