JavaScript वेबसाइटें और एआई क्रॉलर: क्या वे आपके पेज देख सकते हैं?

ब्राउज़र में ठीक दिखने वाली साइट एआई क्रॉलरों को खाली क्यों दिख सकती है, JavaScript रेंडर करने के बारे में Google क्या कहता है, बॉट को क्या मिलता है यह कैसे जाँचें, और छोटे व्यवसाय की साइटों के लिए कौन-से सुधार काम करते हैं।

कई आधुनिक वेबसाइटें ब्राउज़र को लगभग खाली HTML फ़ाइल और JavaScript का एक बंडल भेजती हैं जो पहुँचने पर पेज बनाता है। लोगों को कभी पता नहीं चलता। क्रॉलरों को चल सकता है। अगर कोई बॉट HTML पढ़ता है और स्क्रिप्ट नहीं चलाता, तो आपका ध्यान से लिखा सेवा पेज उस बॉट के लिए एक लोगो वाली ख़ाली शीट है।

Google इसे कैसे संभालता है

Google Search Central के JavaScript SEO basics बताते हैं कि Googlebot पेज क्रॉल करता है, उसे Chromium के हाल के संस्करण में रेंडर करने के लिए कतार में रखता है, और फिर रेंडर हुए नतीजे को इंडेक्स करता है। इसलिए Google JavaScript सामग्री देख सकता है, हालाँकि रेंडरिंग पहली क्रॉल से बाद में हो सकती है, और Google फिर भी server-side rendering या pre-rendering की सलाह देता है क्योंकि यह यूज़र्स और सभी क्रॉलरों के लिए तेज़ है। उसका मार्गदर्शन यह चेतावनी भी देता है कि लिंक को फ़ॉलो किए जाने के लिए href वाले असली anchor टैग होने चाहिए।

एआई क्रॉलर इसे कैसे संभालते हैं

एआई कंपनियाँ रेंडरिंग के बारे में कम बताती हैं। OpenAI, OAI-SearchBot और GPTBot के दस्तावेज़ देता है, Perplexity, PerplexityBot के, और इनमें से कोई पेज यह वादा नहीं करता कि क्रॉलर JavaScript चलाता है। दिसंबर 2024 में अपने नेटवर्क पर क्रॉलर ट्रैफ़िक के Vercel के विश्लेषण में पाया गया कि उसके मापे किसी भी बड़े एआई क्रॉलर ने JavaScript रेंडर नहीं की, जिसमें OpenAI और Anthropic के क्रॉलर और PerplexityBot के नाम थे। उसमें दो अपवाद मिले: Gemini, जो Googlebot का ढाँचा इस्तेमाल करता है, और Applebot। क्रॉलर बदलते रहते हैं, इसलिए इसे वादा नहीं, एक झलक मानें।

सुरक्षित मान्यता: अगर शब्द आपके सर्वर के भेजे HTML में नहीं हैं, तो ChatGPT सर्च, Perplexity और ऐसे दूसरे टूल उन्हें शायद न देखें।

जाँचें कि क्रॉलर को क्या मिलता है

  1. अपना पेज खोलें और View Page Source चुनें (Inspect नहीं, जो स्क्रिप्ट चलने के बाद का पेज दिखाता है)। अपने मुख्य शीर्षक का कोई वाक्य खोजें। अगर वह वहाँ है, तो पाठ कच्चे HTML में है।
  2. Google Search Console में URL Inspection और फिर View Crawled Page इस्तेमाल करें, ताकि Google का सहेजा HTML और रेंडर का स्क्रीनशॉट दिखे।
  3. टर्मिनल से साधारण अनुरोध से पेज लाएँ और जो लौटे उसे पढ़ें। अगर आपको सिर्फ़ एक root div और script टैग दिखें, तो रेंडर न करने वाले क्रॉलरों को कुछ नहीं मिलता।
  4. अपने ब्राउज़र की सेटिंग में JavaScript बंद करें और रीलोड करें। जो बचता है, वह मोटे तौर पर वही है जो रेंडर न करने वाला बॉट पढ़ता है।

सुधार, सबसे मज़बूत से कम तक

  • Server-side rendering या static generation. सर्वर तैयार HTML भेजता है। Next.js, Nuxt और Astro जैसे फ़्रेमवर्क इसे सपोर्ट करते हैं, और कई साइट बिल्डर पहले से स्टैटिक पेज बनाते हैं।
  • Pre-rendering. कोई बिल्ड स्टेप या सेवा हर पेज का पूरा HTML स्नैपशॉट सहेजती है। Google इसे तब तक ठीक मानता है जब तक बॉट और लोगों को एक जैसी सामग्री मिले।
  • ज़रूरी तथ्य शुरुआती HTML में रखें। अगर दोबारा बनाना संभव नहीं, तो कम से कम नाम, सेवाएँ, इलाके, समय और संपर्क जानकारी सर्वर पर रेंडर करें।

ऐसी dynamic rendering से बचें जो बॉट को लोगों से अलग पेज दे। Google, dynamic rendering को एक जुगाड़ बताता है, लंबे समय का हल नहीं, और बॉट और विज़िटरों के लिए अलग सामग्री cloaking की सीमा में आ जाती है।

छोटे व्यवसाय की साइटों के आम जाल

  • तस्वीरों या स्लाइडरों के अंदर रखा पाठ, जिसे कोई क्रॉलर पाठ के रूप में नहीं पढ़ता।
  • लिंक की जगह click handler वाले बटनों से बने मेन्यू, जिससे अंदर के पेज कभी खोजे ही नहीं जाते।
  • पेज लोड होने के बाद किसी तीसरे पक्ष के विजेट से लोड होने वाले रिव्यू, कीमतें या FAQ।
  • ऐसा होमपेज जो सर्वर पर रेंडर होता है जबकि अंदर के पेज नहीं।

हर रीडिज़ाइन के बाद जाँचें

रेंडरिंग की समस्याएँ अक्सर नई थीम या प्लगइन के साथ आती हैं। किसी भी बड़े बदलाव के बाद होमपेज और दो अंदर के पेजों पर पेज सोर्स वाली जाँच दोहराएँ।

We.Inc साइटें अपने अंदर के पेज ऐसे HTML के रूप में देती हैं जिसे Google पढ़ सकता है, और SEO God Mode इसी पर आगे बढ़ते हुए हर हफ़्ते आपकी अपनी सेवाओं से नए, पढ़ने लायक पेज जोड़ता है।

अक्सर पूछे जाने वाले सवाल

क्या Googlebot, JavaScript चलाता है?

हाँ। Google इंडेक्स करने से पहले हाल के Chromium से पेज रेंडर करता है, हालाँकि रेंडरिंग पहली क्रॉल से पीछे रह सकती है। Google फिर भी जहाँ संभव हो server-side rendering या pre-rendering की सलाह देता है।

क्या ChatGPT और Perplexity के क्रॉलर JavaScript चलाते हैं?

उनके दस्तावेज़ ऐसा नहीं कहते, और Vercel के 2024 के क्रॉलर विश्लेषण में पाया गया कि उन्होंने JavaScript रेंडर नहीं की। ज़रूरी पाठ अपने सर्वर के भेजे HTML में रखें।

मैं कैसे देखूँ कि क्रॉलर क्या देखता है?

अपने ब्राउज़र में View Page Source इस्तेमाल करें, या Google Search Console में URL Inspection और View Crawled Page। अगर आपके शब्द वहाँ नहीं हैं, तो रेंडर न करने वाले बॉट भी उन्हें नहीं देखते।

फ़्री में शुरू करें · क्रेडिट कार्ड की ज़रूरत नहीं

संबंधित: गाइड

प्रोडक्ट

किसके लिए

फ़ीचर

संसाधन

कंपनी

साइटमैप