Yapay Zeka Botları İçin robots.txt: Hangilerine İzin Vermeli, Hangilerini Engellemeli

Küçük bir işletme sitesini ziyaret eden yapay zeka tarayıcılarına, sahiplerine göre her birinin ne işe yaradığına ve isterseniz eğitimden çıkarken sizi yapay zeka arama yanıtlarında tutan robots.txt kurallarına pratik bir rehber.

Yapay zeka şirketleri artık birkaç farklı tarayıcı gönderiyor ve her birinin farklı bir işi var. Bazıları eğitim verisi toplar. Bazıları yanıtların bağlantı verdiği bir arama dizini oluşturur. Bazıları bir kullanıcı istediği için tek bir sayfayı getirir. Hepsini tek satırda engellemek güvenli gibi gelir, ama bir işletmeyi gerçek müşteri gönderen yapay zeka arama yanıtlarından sessizce çıkarabilir.

robots.txt nasıl çalışır

robots.txt, alan adınızın kök dizinindeki düz bir dosyadır. Her grup bir tarayıcıyı adlandıran User-agent satırıyla başlar, ardından Allow veya Disallow kuralları gelir. Biçim RFC 9309'da standartlaştırılmıştır. Bir kilit değil, bir istektir: saygın tarayıcılar ona uyar, ama özel içeriği korumaz ve Google'ın belgeleri taramayı engellemenin tek başına bir sayfayı dizinden kaldırmadığını belirtir.

Başlıca yapay zeka tarayıcıları ve sahiplerinin söylediği işlevleri

  • OAI-SearchBot (OpenAI): siteleri ChatGPT arama sonuçlarında göstermek için kullanılır. OpenAI'ın tarayıcı belgeleri, onu engelleyen sitelerin ChatGPT arama yanıtlarında gösterilmeyeceğini, ancak yine de düz gezinme bağlantıları olarak görünebileceğini söyler.
  • GPTBot (OpenAI): OpenAI'ın modellerini eğitmek için kullanılabilecek içerik toplar. Onu engellemek, OpenAI'ın belgelediği eğitimden çıkma yoludur ve OAI-SearchBot'tan bağımsızdır.
  • ChatGPT-User (OpenAI): bir kişinin isteği gerektirdiğinde bir sayfayı getirir. OpenAI, robots.txt kurallarının bu kullanıcı kaynaklı ziyaretlere uygulanmayabileceğini belirtir.
  • Google-Extended (Google): ayrı bir tarayıcı değil, bir ürün belirtecidir. Ona izin vermemek, Google'a içeriğinizi gelecekteki Gemini modellerini eğitmek veya diğer bazı yapay zeka sistemlerinde dayanak olarak kullanmamasını söyler. Google Search Central, bunun Google Arama'ya dahil olmayı veya sıralamayı etkilemediğini söyler; AI Overviews ise Googlebot ve normal snippet ayarlarıyla yönetilir.
  • PerplexityBot (Perplexity): Perplexity'nin yanıtları için sayfaları dizine ekler ve Perplexity'nin belgelerine göre model eğitimi için kullanılmaz. Perplexity-User bir kullanıcı adına getirir ve genellikle robots.txt'yi dikkate almaz.
  • Bingbot (Microsoft): Microsoft Copilot'u dayandıran Bing'i besler. Onu engellemek sizi ikisinden de çıkarır.
  • ClaudeBot ve Claude-SearchBot (Anthropic): Anthropic, eğitim ve arama için ayrı aracılar belgeler ve robots.txt'ye uyduklarını söyler.
  • Applebot ve Applebot-Extended (Apple): Applebot, Spotlight, Siri ve Safari'deki arama özelliklerini çalıştırır; Applebot-Extended ise aramayı etkilemeden Apple'ın içeriğinizi temel modellerini eğitmek için kullanmasından çıkmanızı sağlar.

Yerel bir işletme için mantıklı bir kurulum

Çoğu küçük işletme bulunmak ve yanıtlarda adının geçmesini ister. Yaygın ve dengeli bir kurulum arama tarayıcılarına izin verir ve eğitim konusunda ayrıca karar verir. Örneğin OpenAI ve Google eğitiminden çıkarken ChatGPT aramasında ve Perplexity'de kalmak için:

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Eğitimden çıkıp çıkmamak bir işletme kararıdır. Eğitim verisinde yer almak bir modeli adınıza daha aşina kılabilir; çıkmak ise metninizi gelecekteki model sürümlerinin dışında tutar. İki seçim de Google Arama sıralamasını etkilemez.

Botların engellendiği diğer yerler

robots.txt'nin yanı sıra CDN ve güvenlik ayarlarınızı da kontrol edin. Bazı barındırma güvenlik duvarları ve bot yönetimi özellikleri yapay zeka tarayıcılarını varsayılan olarak engeller; bu da açık bir robots.txt'yi geçersiz kılar. Birini kullanıyorsanız bir yapay zeka tarayıcı ayarı arayın ve istediğiniz arama aracılarına izin verildiğini doğrulayın.

Dosyanızı test edin

Yüklendiğini doğrulamak için yoursite.com/robots.txt adresini bir tarayıcıda açın. Google Search Console'da Google'ın getirdiği sürümü ve hataları gösteren bir robots.txt raporu vardır. Bing Webmaster Tools bir robots.txt test aracı sunar. Barındırma sağlayıcısını değiştirdikten veya bir güvenlik eklentisi kurduktan sonra tekrar kontrol edin.

Doğru botlar size ulaşabildiğinde okumaya değer sayfalara ihtiyaçları vardır; SEO God Mode bir We.Inc sitesinde tam bu noktada devreye girer, kendi hizmetlerinizden haftalık konular önerir ve onayladığınız yazıların taslaklarını hazırlar.

Sıkça sorulan sorular

GPTBot'u engellersem ChatGPT aramasından kaybolur muyum?

OpenAI'a göre hayır. GPTBot eğitim tarayıcısıdır; ChatGPT araması OAI-SearchBot'u kullanır. Birine izin verip diğerini engellemek sorun değildir.

Google-Extended'ı engellemek beni AI Overviews'dan çıkarır mı?

Hayır. Google, Google-Extended'ın içeriğin Gemini eğitiminde kullanımını yönettiğini ve Googlebot'u kullanan AI Overviews dahil Google Arama'yı etkilemediğini söyler.

İçeriği gizli tutmak için robots.txt yeterli mi?

Hayır. Kurallara uyan tarayıcıların izlediği bir istektir. Gerçekten gizli olan her şey bir giriş veya şifre koruması gerektirir; bir sayfayı arama sonuçlarının dışında tutmanın aracı ise noindex'tir.

Ücretsiz başlayın · Kredi kartı gerekmez

İlgili: Rehberler

Ürün

Kimler için

Özellikler

Kaynaklar

Şirket

Site haritası