robots.txt สำหรับบอต AI: ควรอนุญาตตัวไหนและบล็อกตัวไหน

คู่มือใช้งานจริงเรื่องบอต AI ที่เว็บธุรกิจขนาดเล็กพบ แต่ละตัวมีไว้ทำอะไรตามที่เจ้าของบอกไว้ และกฎ robots.txt ที่ทำให้คุณยังอยู่ในคำตอบการค้นหาของ AI ขณะเลือกไม่ร่วมการฝึกโมเดลได้หากต้องการ

ตอนนี้บริษัท AI ส่งบอตมาหลายตัว และแต่ละตัวมีหน้าที่ต่างกัน บางตัวเก็บข้อมูลฝึกโมเดล บางตัวสร้างดัชนีการค้นหาที่คำตอบลิงก์กลับมา บางตัวดึงหน้าเดียวเพราะผู้ใช้ขอ การบล็อกทั้งหมดในบรรทัดเดียวรู้สึกปลอดภัย แต่อาจทำให้ธุรกิจหายไปจากคำตอบการค้นหาของ AI ที่ส่งลูกค้าจริงมาให้อย่างเงียบๆ

robots.txt ทำงานอย่างไร

robots.txt คือไฟล์ธรรมดาที่รากของโดเมนคุณ แต่ละกลุ่มเริ่มด้วยบรรทัด User-agent ที่ระบุชื่อบอต ตามด้วยกฎ Allow หรือ Disallow รูปแบบนี้เป็นมาตรฐานใน RFC 9309 มันเป็นคำขอ ไม่ใช่กุญแจ บอตที่น่าเชื่อถือทำตาม แต่ไม่ได้ปกป้องเนื้อหาส่วนตัว และเอกสารของ Google ระบุว่าการบล็อกการรวบรวมข้อมูลไม่ได้นำหน้าออกจากดัชนีด้วยตัวมันเอง

บอต AI หลักๆ และสิ่งที่เจ้าของบอกว่าทำ

  • OAI-SearchBot (OpenAI): ใช้แสดงเว็บในผลการค้นหาของ ChatGPT เอกสารบอตของ OpenAI บอกว่าเว็บที่บล็อกบอตนี้จะไม่แสดงในคำตอบการค้นหาของ ChatGPT แม้อาจยังปรากฏเป็นลิงก์นำทางธรรมดา
  • GPTBot (OpenAI): เก็บเนื้อหาที่อาจใช้ฝึกโมเดลของ OpenAI การบล็อกเป็นวิธีที่ OpenAI ระบุไว้สำหรับเลือกไม่ร่วมการฝึก และแยกเป็นอิสระจาก OAI-SearchBot
  • ChatGPT-User (OpenAI): ดึงหน้าเมื่อคำขอของคนต้องใช้ OpenAI ระบุว่ากฎ robots.txt อาจไม่ใช้กับการเข้าชมที่ผู้ใช้เริ่มต้นเหล่านี้
  • Google-Extended (Google): ไม่ใช่บอตแยก แต่เป็นโทเค็นผลิตภัณฑ์ การ Disallow บอก Google ว่าอย่าใช้เนื้อหาของคุณฝึกโมเดล Gemini ในอนาคต หรือใช้เป็นฐานในระบบ AI อื่นบางระบบ Google Search Central บอกว่าไม่มีผลต่อการอยู่ในหรือการจัดอันดับใน Google Search และ AI Overviews ถูกควบคุมโดย Googlebot และการควบคุมตัวอย่างข้อความตามปกติ
  • PerplexityBot (Perplexity): จัดทำดัชนีหน้าสำหรับคำตอบของ Perplexity และตามเอกสารของ Perplexity ไม่ได้ใช้ฝึกโมเดล Perplexity-User ดึงหน้าแทนผู้ใช้และโดยทั่วไปไม่สนใจ robots.txt
  • Bingbot (Microsoft): ส่งข้อมูลให้ Bing ซึ่งเป็นฐานของ Microsoft Copilot การบล็อกจะทำให้คุณหายไปจากทั้งสองที่
  • ClaudeBot และ Claude-SearchBot (Anthropic): Anthropic มีเอกสารแยกเอเจนต์สำหรับการฝึกและการค้นหา และบอกว่าทั้งสองเคารพ robots.txt
  • Applebot และ Applebot-Extended (Apple): Applebot ขับเคลื่อนฟีเจอร์การค้นหาใน Spotlight, Siri และ Safari ส่วน Applebot-Extended ให้คุณเลือกไม่ให้ Apple ใช้เนื้อหาฝึกโมเดลพื้นฐาน โดยไม่กระทบการค้นหา

การตั้งค่าที่สมเหตุสมผลสำหรับธุรกิจท้องถิ่น

ธุรกิจขนาดเล็กส่วนใหญ่อยากถูกค้นพบและถูกเอ่ยชื่อในคำตอบ การตั้งค่าที่สมดุลและพบบ่อยคืออนุญาตบอตค้นหา และตัดสินเรื่องการฝึกแยกต่างหาก ตัวอย่างเช่น เพื่อให้ยังอยู่ในการค้นหาของ ChatGPT และ Perplexity แต่เลือกไม่ร่วมการฝึกของ OpenAI และ Google

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

จะเลือกไม่ร่วมการฝึกหรือไม่เป็นการตัดสินใจทางธุรกิจ การอยู่ในข้อมูลฝึกอาจทำให้โมเดลคุ้นกับชื่อคุณมากขึ้น การเลือกไม่ร่วมทำให้ข้อความของคุณไม่อยู่ในการสร้างโมเดลรุ่นต่อไป ทั้งสองทางไม่มีผลต่ออันดับใน Google Search

ที่อื่นที่บอตถูกบล็อก

ตรวจการตั้งค่า CDN และความปลอดภัยด้วย นอกเหนือจาก robots.txt ไฟร์วอลล์ของโฮสติ้งและฟีเจอร์จัดการบอตบางตัวบล็อกบอต AI เป็นค่าเริ่มต้น ซึ่งมีผลเหนือ robots.txt ที่เปิดไว้ ถ้าคุณใช้อยู่ ให้มองหาการตั้งค่าบอต AI และยืนยันว่าเอเจนต์การค้นหาที่คุณต้องการได้รับอนุญาต

ทดสอบไฟล์ของคุณ

เปิด yoursite.com/robots.txt ในเบราว์เซอร์เพื่อยืนยันว่าโหลดได้ Google Search Console มีรายงาน robots.txt ที่แสดงเวอร์ชันที่ Google ดึงไปและข้อผิดพลาด Bing Webmaster Tools มีเครื่องมือทดสอบ robots.txt ตรวจซ้ำหลังเปลี่ยนโฮสต์หรือติดตั้งปลั๊กอินความปลอดภัย

เมื่อบอตที่ใช่เข้าถึงคุณได้แล้ว บอตเหล่านั้นต้องมีหน้าที่คุ้มค่าแก่การอ่าน ซึ่งคือที่ที่ SEO God Mode เข้ามาช่วยบนเว็บไซต์ We.Inc โดยเสนอหัวข้อประจำสัปดาห์จากบริการของคุณเองและร่างบทความที่คุณอนุมัติ

คำถามที่พบบ่อย

ถ้าบล็อก GPTBot ฉันจะหายไปจากการค้นหาของ ChatGPT ไหม

ไม่ ตามที่ OpenAI บอก GPTBot คือบอตสำหรับการฝึก การค้นหาของ ChatGPT ใช้ OAI-SearchBot การอนุญาตตัวหนึ่งและบล็อกอีกตัวทำได้

การบล็อก Google-Extended ทำให้ฉันหายจาก AI Overviews ไหม

ไม่ Google บอกว่า Google-Extended ควบคุมการใช้เนื้อหาเพื่อฝึก Gemini และไม่มีผลต่อ Google Search รวมถึง AI Overviews ซึ่งใช้ Googlebot

robots.txt เพียงพอที่จะเก็บเนื้อหาเป็นส่วนตัวไหม

ไม่ มันเป็นคำขอที่บอตซึ่งประพฤติดีทำตาม สิ่งที่เป็นส่วนตัวจริงต้องมีการเข้าสู่ระบบหรือป้องกันด้วยรหัสผ่าน และ noindex คือเครื่องมือสำหรับไม่ให้หน้าอยู่ในผลการค้นหา

เริ่มต้นฟรี · ไม่ต้องใช้บัตรเครดิต

ที่เกี่ยวข้อง: คู่มือ

ผลิตภัณฑ์

เหมาะกับใคร

ฟีเจอร์

แหล่งข้อมูล

บริษัท

แผนผังเว็บไซต์