เครื่องมือสร้าง robots.txt ฟรี
เครื่องมือสร้าง Robots.txt
สร้าง robots.txt ฟรี: อนุญาต บล็อก และควบคุมบอต AI | We.Inc
สร้าง robots.txt ฟรีเพื่ออนุญาตหรือบล็อกโปรแกรมรวบรวมข้อมูล ระบุโฟลเดอร์ที่ห้ามเข้า เพิ่มแผนผังเว็บไซต์ และเลือกให้บอต AI อ่านเว็บได้หรือไม่
สร้างไฟล์ robots.txt ที่ถูกต้องได้ในหนึ่งนาที: เลือกค่าตั้งต้นสำหรับโปรแกรมรวบรวมข้อมูลทั้งหมด ระบุโฟลเดอร์ที่ไม่ต้องการให้เข้า เพิ่มแผนผังเว็บไซต์ และตัดสินใจว่าจะให้บอต AI อ่านเนื้อหาหรือไม่ คัดลอกผลลัพธ์หรือดาวน์โหลดเป็นไฟล์
- เลือกกฎตั้งต้นสำหรับโปรแกรมรวบรวมข้อมูลทั้งหมด: อนุญาตทุกอย่าง (เหมาะกับเว็บไซต์ส่วนใหญ่) หรือบล็อกทั้งหมด (สำหรับเว็บไซต์ทดสอบ)
- เพิ่มโฟลเดอร์ที่ไม่ต้องการให้โปรแกรมรวบรวมข้อมูลเข้า ทีละบรรทัด เช่น /admin/ หรือ /cart/
- วางที่อยู่แผนผังเว็บไซต์ เพื่อให้เครื่องมือค้นหาค้นพบทุกหน้า
- เลือกบล็อกบอตฝึก AI ได้ตามต้องการ จากนั้นคัดลอกหรือดาวน์โหลด robots.txt แล้วอัปโหลดไว้ที่รูทของโดเมน
- ไฟล์ robots.txt ต้องอยู่ที่ yourdomain.com/robots.txt พอดี หากอยู่ที่อื่นจะไม่มีผล
- การบล็อกหน้าใน robots.txt ไม่ได้ลบหน้านั้นออกจาก Google หากไม่ต้องการให้แสดงในผลค้นหา ให้ใช้แท็ก noindex และปล่อยให้บอตเข้าอ่านหน้า
- อย่าบล็อกโฟลเดอร์ CSS หรือ JavaScript เพราะ Google ต้องใช้ไฟล์เหล่านี้เพื่อดูหน้าเว็บของคุณได้ถูกต้อง
- หลังอัปโหลด ให้เปิดไฟล์ในเบราว์เซอร์เพื่อตรวจฉบับที่ใช้งานจริง
คำถามที่พบบ่อย
robots.txt ทำหน้าที่อะไร
ไฟล์นี้แจ้งโปรแกรมรวบรวมข้อมูลที่ทำตามกฎว่าขอเข้าถึงส่วนใดของเว็บไซต์ได้ เป็นเพียงคำขอ ไม่ใช่ระบบล็อก จึงไม่ปกป้องเนื้อหาส่วนตัว และบอตที่ไม่ดีอาจเพิกเฉย
จำเป็นต้องมีไฟล์ robots.txt ไหม
ไม่จำเป็น หากไม่มีไฟล์นี้ โปรแกรมรวบรวมข้อมูลจะถือว่าเข้าอ่านได้ทุกหน้า แต่การมีไฟล์ช่วยระบุแผนผังเว็บไซต์และกันบอตออกจากหน้าอย่างตะกร้าสินค้าหรือหน้าจัดการระบบ
ควรบล็อกบอต AI ไหม
เป็นการตัดสินใจทางธุรกิจ การบล็อก GPTBot, ClaudeBot, Google-Extended และบอตลักษณะเดียวกันเป็นการขอไม่ให้นำเนื้อหาไปฝึกโมเดล แต่อาจทำให้ผู้ช่วย AI รู้จักธุรกิจของคุณน้อยลงด้วย ธุรกิจขนาดเล็กหลายแห่งเลือกอนุญาต เพื่อให้คำตอบจาก AI แนะนำธุรกิจได้
การเปลี่ยนแปลงมีผลเมื่อไร
โดยทั่วไป Google จะอ่าน robots.txt ใหม่ภายในหนึ่งวัน คุณขอให้รีเฟรชได้ในรายงาน robots.txt ของ Google Search Console
ทดสอบว่า URL ถูกบล็อกโดย robots.txt ได้อย่างไร?
ใช้เครื่องมือทดสอบในหน้านี้ วาง robots.txt (หรือใช้ไฟล์ที่เพิ่งสร้าง) ใส่ที่อยู่และชื่อโปรแกรมรวบรวมข้อมูล เช่น Googlebot แล้วระบบจะแสดงว่าอนุญาตหรือบล็อก พร้อมกฎที่ตัดสิน ระบบใช้กฎการจับคู่ของ Google ในเบราว์เซอร์และไม่ดึงไฟล์จริง จึงควรวางเวอร์ชันปัจจุบันจาก yourdomain.com/robots.txt
หากทั้งกฎ Allow และ Disallow ตรงกัน กฎใดจะมีผล?
สำหรับ Google กฎที่มีเส้นทางยาวกว่าจะมีผล เพราะเฉพาะเจาะจงกว่า หากเส้นทางยาวเท่ากัน Allow จะชนะ โปรแกรมรวบรวมข้อมูลอื่นอาจแก้ไขข้อขัดแย้งต่างกัน ดังนั้นควรหลีกเลี่ยงการพึ่งพาสถานการณ์ที่เสมอกัน
วิธีอ่านกฎใน robots.txt
- ไฟล์ robots.txt เป็นรายการกลุ่ม แต่ละกลุ่มเริ่มด้วยบรรทัด User-agent หนึ่งบรรทัดหรือมากกว่าเพื่อระบุบอต (หรือใช้ * สำหรับทุกตัว) แล้วตามด้วยบรรทัด Allow และ Disallow ที่มีเส้นทาง URL บอตจะใช้กลุ่มที่ระบุชื่อตรงกับตัวเองมากที่สุด และภายในกลุ่มเดียวกัน เส้นทางที่ตรงกันยาวที่สุดจะมีผล
- 'Disallow: /' บล็อกทุกอย่าง ส่วน 'Disallow:' ที่เว้นค่าว่างคืออนุญาตทั้งหมด และ 'Disallow: /admin/' บล็อกทุกที่อยู่ที่ขึ้นต้นด้วย /admin/ เส้นทางแยกตัวพิมพ์เล็กกับตัวพิมพ์ใหญ่
ค่าตั้งต้นที่เหมาะกับเว็บไซต์ธุรกิจขนาดเล็ก
- อนุญาตให้เข้าได้ทุกหน้า บล็อกโฟลเดอร์จัดการระบบ ตะกร้าสินค้า ชำระเงิน หรือบัญชีที่แพลตฟอร์มของคุณใช้ แล้วระบุแผนผังเว็บไซต์ เท่านี้ก็เพียงพอสำหรับเว็บไซต์ส่วนใหญ่ อย่าใช้ robots.txt ซ่อนหน้าขอบคุณหรือหน้าซ้ำจาก Google ให้ใช้แท็ก noindex ซึ่งทำหน้าที่นี้ได้ถูกต้อง
- เว็บไซต์ที่เผยแพร่ด้วย We.Inc มี robots.txt และแผนผังเว็บไซต์ให้อัตโนมัติอยู่แล้ว คุณจึงต้องใช้เครื่องมือนี้เฉพาะกับเว็บไซต์ที่โฮสต์ที่อื่น
การทดสอบ URL ก่อนอัปโหลด
- ข้อผิดพลาดเล็กน้อยใน robots.txt อาจบล็อกทั้งส่วนของเว็บไซต์ได้ จึงควรทดสอบที่อยู่สำคัญก่อนอัปโหลด ได้แก่ หน้าแรก หน้าสินค้าหรือบริการ บล็อกโพสต์ และสิ่งที่ต้องการบล็อก ใส่แต่ละที่อยู่ในเครื่องมือทดสอบพร้อมโปรแกรมรวบรวมข้อมูลที่ต้องการ โดยปกติคือ Googlebot และตรวจสอบว่าผลลัพธ์และกฎที่ตัดสินตรงตามที่คาดหวัง
- wildcard มักสร้างความประหลาดใจมากที่สุด 'Disallow: /*?sort=' บล็อกทุกที่อยู่ที่มี ?sort= และ 'Disallow: /*.pdf$' บล็อกที่อยู่ที่ลงท้ายด้วย .pdf แต่ไม่บล็อก /file.pdf?download=1 นอกจากนี้โปรแกรมรวบรวมข้อมูลที่ระบุชื่อในกลุ่มของตัวเอง เช่น Googlebot-Image จะเพิกเฉยกลุ่ม * ทั้งหมด ดังนั้นกฎที่เขียนสำหรับทุกคนจะไม่มีผลกับโปรแกรมนั้น
เริ่มต้นฟรี · ไม่ต้องใช้บัตรเครดิต
Product
Who It's For
Features
Resources
Company
View Sitemap