एआई बॉट के लिए robots.txt: किसे अनुमति दें और किसे रोकें

छोटे व्यवसाय की साइट पर आने वाले एआई क्रॉलरों की एक व्यावहारिक गाइड, उनके मालिकों के अनुसार हर एक किस काम का है, और ऐसे robots.txt नियम जो आपको एआई सर्च जवाबों में रखें और चाहें तो ट्रेनिंग से बाहर रहने दें।

एआई कंपनियाँ अब कई अलग-अलग क्रॉलर भेजती हैं, और हर एक का काम अलग है। कुछ ट्रेनिंग डेटा इकट्ठा करते हैं। कुछ ऐसा सर्च इंडेक्स बनाते हैं जिसकी ओर जवाब लिंक करते हैं। कुछ सिर्फ़ एक पेज लाते हैं क्योंकि किसी यूज़र ने पूछा। एक पंक्ति में सबको रोकना सुरक्षित लगता है, लेकिन यह चुपचाप किसी व्यवसाय को उन एआई सर्च जवाबों से हटा सकता है जो असली ग्राहक भेजते हैं।

robots.txt कैसे काम करती है

robots.txt आपके डोमेन की जड़ में रखी एक सादी फ़ाइल है। हर समूह एक User-agent पंक्ति से शुरू होता है जो किसी क्रॉलर का नाम लेती है, और उसके बाद Allow या Disallow नियम आते हैं। इसका रूप RFC 9309 में मानकीकृत है। यह एक अनुरोध है, ताला नहीं: प्रतिष्ठित क्रॉलर इसका पालन करते हैं, लेकिन यह निजी सामग्री की रक्षा नहीं करती, और Google के दस्तावेज़ बताते हैं कि क्रॉलिंग रोकने से अपने आप कोई पेज इंडेक्स से नहीं हटता।

मुख्य एआई क्रॉलर और उनके मालिक उनके बारे में क्या कहते हैं

  • OAI-SearchBot (OpenAI): ChatGPT सर्च नतीजों में साइटें दिखाने के लिए इस्तेमाल होता है। OpenAI के क्रॉलर दस्तावेज़ कहते हैं कि जो साइटें इसे रोकती हैं वे ChatGPT सर्च जवाबों में नहीं दिखेंगी, हालाँकि वे साधारण नेविगेशन लिंक के रूप में फिर भी दिख सकती हैं।
  • GPTBot (OpenAI): ऐसी सामग्री इकट्ठा करता है जो OpenAI के मॉडल ट्रेन करने में इस्तेमाल हो सकती है। इसे रोकना ट्रेनिंग से बाहर रहने का OpenAI का बताया तरीका है, और यह OAI-SearchBot से स्वतंत्र है।
  • ChatGPT-User (OpenAI): किसी व्यक्ति के अनुरोध को ज़रूरत होने पर पेज लाता है। OpenAI बताता है कि यूज़र की शुरू की गई इन विज़िट पर robots.txt के नियम लागू न हों, ऐसा हो सकता है।
  • Google-Extended (Google): अलग क्रॉलर नहीं बल्कि एक product token है। इसे Disallow करना Google को बताता है कि आपकी सामग्री भविष्य के Gemini मॉडल की ट्रेनिंग या उसके कुछ दूसरे एआई सिस्टम में grounding के लिए इस्तेमाल न करे। Google Search Central कहता है कि इसका Google Search में शामिल होने या रैंकिंग पर असर नहीं पड़ता, और AI Overviews, Googlebot और सामान्य स्निपेट नियंत्रणों से चलते हैं।
  • PerplexityBot (Perplexity): Perplexity के जवाबों के लिए पेज इंडेक्स करता है और, Perplexity के दस्तावेज़ों के अनुसार, मॉडल ट्रेनिंग में इस्तेमाल नहीं होता। Perplexity-User यूज़र की ओर से पेज लाता है और आमतौर पर robots.txt को नज़रअंदाज़ करता है।
  • Bingbot (Microsoft): Bing को जानकारी देता है, जिस पर Microsoft Copilot आधारित है। इसे रोकना आपको दोनों से हटा देता है।
  • ClaudeBot और Claude-SearchBot (Anthropic): Anthropic ट्रेनिंग और सर्च के लिए अलग एजेंट बताता है, और कहता है कि वे robots.txt का सम्मान करते हैं।
  • Applebot और Applebot-Extended (Apple): Applebot, Spotlight, Siri और Safari की सर्च सुविधाएँ चलाता है; Applebot-Extended आपको Apple की foundation मॉडल ट्रेनिंग में सामग्री के इस्तेमाल से बाहर रहने देता है, सर्च पर असर डाले बिना।

स्थानीय व्यवसाय के लिए समझदारी भरा सेटअप

ज़्यादातर छोटे व्यवसाय चाहते हैं कि वे पाए जाएँ और जवाबों में उनका नाम लिया जाए। एक आम, संतुलित सेटअप सर्च क्रॉलरों को अनुमति देता है और ट्रेनिंग के बारे में अलग से फ़ैसला करता है। उदाहरण के लिए, ChatGPT सर्च और Perplexity में रहते हुए OpenAI और Google की ट्रेनिंग से बाहर रहने के लिए:

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

ट्रेनिंग से बाहर रहना है या नहीं, यह व्यावसायिक फ़ैसला है। ट्रेनिंग डेटा में होने से कोई मॉडल आपके नाम से ज़्यादा परिचित हो सकता है; बाहर रहने से आपका पाठ भविष्य के मॉडलों से बाहर रहता है। किसी भी फ़ैसले का Google Search रैंकिंग पर असर नहीं पड़ता।

दूसरी जगहें जहाँ बॉट रुकते हैं

robots.txt के साथ अपने CDN और सुरक्षा सेटिंग भी जाँचें। कुछ होस्टिंग फ़ायरवॉल और बॉट-मैनेजमेंट सुविधाएँ एआई क्रॉलरों को डिफ़ॉल्ट रूप से रोकती हैं, जो खुली robots.txt पर भारी पड़ता है। अगर आप इनमें से कुछ इस्तेमाल करते हैं, तो एआई क्रॉलर वाली सेटिंग ढूँढें और पक्का करें कि जिन सर्च एजेंट को आप चाहते हैं उन्हें अनुमति है।

अपनी फ़ाइल जाँचें

यह पक्का करने के लिए कि वह लोड होती है, ब्राउज़र में yoursite.com/robots.txt खोलें। Google Search Console में एक robots.txt रिपोर्ट है जो Google का लाया संस्करण और कोई भी त्रुटि दिखाती है। Bing Webmaster Tools एक robots.txt टेस्टर देता है। होस्ट बदलने या सुरक्षा प्लगइन लगाने के बाद फिर जाँचें।

जब सही बॉट आप तक पहुँच सकें, तो उन्हें पढ़ने लायक पेज चाहिए, और यहीं SEO God Mode We.Inc साइट पर काम आता है, आपकी अपनी सेवाओं से हर हफ़्ते विषय सुझाकर और ऐसी पोस्ट ड्राफ़्ट करके जिन्हें आप मंज़ूर करते हैं।

अक्सर पूछे जाने वाले सवाल

अगर मैं GPTBot को रोकूँ, तो क्या मैं ChatGPT सर्च से ग़ायब हो जाऊँगा?

OpenAI के अनुसार नहीं। GPTBot ट्रेनिंग वाला क्रॉलर है; ChatGPT सर्च, OAI-SearchBot इस्तेमाल करता है। एक को अनुमति देकर दूसरे को रोकना ठीक है।

क्या Google-Extended को रोकने से मैं AI Overviews से हट जाऊँगा?

नहीं। Google कहता है कि Google-Extended, Gemini ट्रेनिंग के लिए सामग्री के इस्तेमाल को नियंत्रित करता है और Google Search पर असर नहीं डालता, जिसमें AI Overviews भी शामिल हैं, जो Googlebot इस्तेमाल करते हैं।

क्या सामग्री निजी रखने के लिए robots.txt काफ़ी है?

नहीं। यह एक अनुरोध है जिसका अच्छे क्रॉलर पालन करते हैं। जो सच में निजी है उसके लिए लॉगिन या पासवर्ड सुरक्षा चाहिए, और किसी पेज को सर्च नतीजों से बाहर रखने का टूल noindex है।

फ़्री में शुरू करें · क्रेडिट कार्ड की ज़रूरत नहीं

संबंधित: गाइड

प्रोडक्ट

किसके लिए

फ़ीचर

संसाधन

कंपनी

साइटमैप